CodeToon: una herramienta para crear historias y cómics automáticamente

Tres investigadores de la Universidad de Waterloo en Canadá desarrollaron recientemente una herramienta de creación de cómics única que puede crear automáticamente historias y cómics basados ​​en código. Este sistema, llamado CodeToon, podría abrir interesantes posibilidades para la narración basada en código, el proceso de usar código computacional para crear nuevas historias.

A Sangho Suh, uno de los autores, se le ocurrió la idea de CodeToon y luego trabajó en su desarrollo en colaboración con su colega Jian Zhao, bajo la supervisión de la profesora Edith Law. Su artículo, que se presentará en unas pocas semanas en el Simposio sobre software y tecnología de interfaz de usuario (UIST, por sus siglas en inglés) de la ACM, el principal foro para las innovaciones en las interfaces hombre-computadora, se basa en algunos de los esfuerzos anteriores de su equipo, incluido el desarrollo de un herramienta pedagógica llamada Tira de codificación y otro estudio aprovechar la IA conversacional generativa para enseñar el pensamiento computacional.

«Descubrimos que usar cómics es un medio eficaz para enseñar conceptos abstractos de programación, pero crear cómics es tedioso y requiere mucho tiempo», dijo a TechXplore Jian Zhao, uno de los investigadores que llevó a cabo el estudio. «También identificamos las oportunidades en tecnologías avanzadas de IA para automatizar algunos pasos de esta tarea. Por lo tanto, construimos CodeToon, una herramienta de creación de cómics que facilita este proceso de narración basado en código».

Coding Strip, la herramienta pedagógica creada previamente por Sangho Suh y sus colegas de la Universidad de Waterloo, fue diseñada específicamente para enseñar conceptos de programación usando cómics. CodeToon lleva esta idea un paso más allá, al crear automáticamente historietas e historias basadas en código que podrían usarse para capacitar a los estudiantes de ciencias de la computación.

«Inspirado en la escalera de la abstracción y su relación con el pensamiento computacional, la tira de codificación ayuda a los estudiantes a moverse entre niveles de abstracción concretos (cómic) y abstractos (código)», dijo a TechXplore Sangho Suh, uno de los investigadores que llevó a cabo el estudio. «Sin embargo, la creación de tiras de codificación puede llevar mucho tiempo y ser laboriosa, por lo que el objetivo principal de este proyecto era hacer que el proceso de creación fuera más eficiente y sin esfuerzo».

CodeToon puede facilitar la narración basada en código de dos maneras distintas. En primer lugar, puede generar automáticamente una plantilla de historia usando código. Posteriormente, la herramienta puede generar historietas basadas en estas plantillas de historias basadas en código.

«CodeToon es una herramienta de creación de cómics interactiva e inteligente que ayuda a los creadores a generar historias a partir del código (código→historia) y diseñar cómics a partir de historias (historia→cómic)», dijeron Zhao y Suh. «Dado que los cómics representan con precisión la semántica del código y el proceso de ejecución, permite a los alumnos aprender los conceptos y procedimientos computacionales de una manera atractiva pero efectiva».

Los investigadores evaluaron la eficacia de su herramienta de creación de historietas en un estudio de usuarios de dos partes. En la primera parte, se pidió a 24 participantes con conocimientos básicos de programación que usaran CodeToon o una serie de plantillas para crear ideas para historias y generar cómics a juego. Posteriormente, todos los participantes participaron en una breve entrevista, donde se les preguntó qué les funcionó y qué no les funcionó.

En la segunda parte de la evaluación, se pidió a 20 participantes que podían leer y comprender el código de Python que miraran 8 tiras de codificación, creadas con CodeToon o con una serie de plantillas, y compartieran sus opiniones sobre qué tan bien mapearon el código, ilustraron la codificación. conceptos y cuán útiles pensaban que podrían ser para la enseñanza.

Con base en las respuestas de la entrevista, la mayoría de los participantes sintieron que el mapeo 1 a 1 del código en historias y cómics podría ser una estrategia de enseñanza efectiva, particularmente cuando se usan cómics para representar código alternativamente. Además, aquellos que usaron CodeToon para generar sus cómics compartieron comentarios positivos sobre su desempeño en la creación de historias y cómics basados ​​en código.

«Nuestros hallazgos confirman la literatura previa sobre múltiples sistemas de representación, que recomienda aclarar el mapeo entre múltiples representaciones», dijo Zhao. «Nuestros conocimientos también arrojan luz sobre otras áreas de investigación, como los cómics de datos y estadísticas, que también pueden aprovechar este enfoque para generar cómics automáticamente para aprender y enseñar conceptos en sus dominios».

En particular, Suh, Zhao y Law introdujeron una nueva forma de ver el código que podría tener implicaciones interesantes. En el futuro, la misma idea quizás podría aplicarse a otros lenguajes computacionales y matemáticos. Por ejemplo, estudios futuros podrían explorar la posibilidad de generar historietas e historias basadas en ecuaciones matemáticas.

«El logro más notable de nuestro estudio, en la superficie, puede ser el proceso eficiente para generar cómics a partir del código», dijo Suh. «Pero en un nivel más profundo, creo que es la noción de narración basada en código. En CodeToon, el código impulsa la narración: la estructura abstracta del código que incorpora ideas computacionales como la estructura lógica if-else se convierte en la estructura de la historia y el cómic. En otras palabras, el código determina la secuencia y la trama general de la historia».

La herramienta creada por Suh, Zhao y Law pronto podría usarse en universidades y colegios para hacer que aprender a codificar sea más atractivo. En el futuro, a los investigadores les gustaría implementar su herramienta en entornos de aula reales para evaluar mejor su utilidad. Además, planean investigar la posibilidad de utilizar modelos generativos de aprendizaje profundo, como GPT-3 y Codex, para llenar los vacíos en las historias y el código.

«Por ejemplo, en función de los dibujos en el lienzo, el sistema podría generar nuevos dibujos para agregar al cómic existente y proporcionar una guía de diseño en tiempo real», explicó Zhao. «Otra posible dirección de investigación sería mejorar el proceso de creación con un conjunto más diverso de bocetos y recursos cómicos, más personalización y flexibilidad, así como soporte para más lenguajes de programación».

En sus próximos estudios, a Suh también le gustaría investigar el posible uso de lenguajes matemáticos para impulsar la narración. En última instancia, esto podría mejorar la forma en que los profesores y los estudiantes dan sentido a los conceptos abstractos, las ecuaciones complejas y los procedimientos.

«Hay muchas direcciones de investigación emocionantes que planeamos explorar en nuestros próximos estudios», agregó Suh. «Uno es mejorar aún más CodeToon, por ejemplo, asegurándose de que sea compatible con otros lenguajes de programación y funciones. Otro es investigar cómo podemos usar CodeToon para integrar el arte en la educación en programación».

© 2022 Ciencia X Red