Esta cámara intercambia imágenes por poesía de IA

¿Alguna vez te has parado frente a una secuoya y te has preguntado: «¿No sería fantástico si esto fuera poesía en lugar de un árbol?» Tampoco lo hizo Joyce Kilmer. Kelin Carolyn Zhang y Ryan Mather, sin embargo, se han propuesto cerrar la brecha entre la tecnología de inteligencia artificial y la poesía con su cautivadora creación: el Cámara de poesía. El dispositivo de código abierto combina tecnología de punta con visión artística, lo que da como resultado una creación que traspasa los límites de ambos campos.

A primera vista, la Poetry Camera parece un dispositivo más en el panorama en constante evolución de los dispositivos digitales. Sin embargo, tras una inspección más cercana, resulta evidente que no se trata de una cámara cualquiera. En lugar de simplemente capturar imágenes, Poetry Camera lleva el concepto de fotografía a nuevas alturas al generar poesía que invita a la reflexión (o, bueno, tan estimulante como la poesía de IA puede llegar a ser) basada en las imágenes que encuentra.

Zhang y Mather, los autores intelectuales de este proyecto, han combinado a la perfección su experiencia en tecnología y arte para crear un dispositivo técnicamente impresionante y estéticamente cautivador.

La historia de Poetry Camera comenzó como un proyecto de pasión personal para Zhang y Mather, quienes se sintieron cautivados por la idea de fusionar su amor por la tecnología con su aprecio por las artes. En las primeras etapas de desarrollo, pasaron incontables horas jugueteando con varios componentes y experimentando con diferentes modelos de IA para hacer realidad su visión.

“El origen del proyecto es cuando obtuve acceso a GPT-3. Mi primer instinto fue jugar a Dungeons & Dragons con él porque soy un nerd. Pensé que «si esto pudiera jugar a Dungeons & Dragons, sería impresionante». Y sí, funcionó para eso. Esto fue cuando había que hacer ingeniería rápida. Así que fue necesario un poco de esfuerzo para que funcionara. Pero también tuve la idea de tal vez hacer alguna cámara como proyecto”, dice Mather. “¿Qué pasaría si tomaras una cámara, pero fuera una reacción a la cultura de Instagram? ¿Qué pasa si en lugar de una foto sale texto? … Todo el mundo prefiere la versión del libro a la película, así que es así para capturar momentos”.

Mientras refinaban su prototipo, Zhang y Mather comenzaron a compartir su creación con amigos y familiares en reuniones sociales. Las reacciones que recibieron fueron nada menos que sorprendentes. La gente estaba fascinada por el concepto de una cámara que pudiera generar poesía a partir de lo que veía. El dispositivo rápidamente se convirtió en el centro de atención, provocando animadas discusiones y encendiendo la imaginación de todos los que lo encontraron.

Estas reacciones iniciales fueron un poderoso motivador para que Zhang y Mather continuaran perfeccionando su invento. Se dieron cuenta de que la Poetry Camera tenía el potencial de cerrar la brecha entre la tecnología y el arte de una manera que resonara en la gente. A medida que se corrió la voz sobre la Poetry Camera, el dúo se vio inundado de preguntas de personas curiosas y ansiosas por experimentar el dispositivo por sí mismos. Este interés los llevó a considerar la posibilidad de transformar su proyecto en un potencial producto comercial, haciendo accesible la magia de Poetry Camera a un público más amplio.

la tecnología

En el corazón de este dispositivo innovador se encuentra una Raspberry Pi, una computadora de placa única del tamaño de una tarjeta de crédito que tiene una gran potencia. Este pequeño pero poderoso componente actúa como el cerebro de la cámara de poesía, permitiéndole capturar imágenes y comunicarse con el GPT-4 de OpenAI para generar poesía.

Una Raspberry Pi captura la imagen y luego emplea algoritmos de visión por computadora para analizar los datos visuales. Luego, los modelos de IA interpretan la imagen, identificando elementos clave, colores, patrones y emociones dentro del marco. Esta información sirve como base para el proceso de generación de poesía.

Zhang apuntó con la cámara a nuestra entrevista por Zoom:

Y salió un poema:

Detrás de la lente, un hombre ajusta su mirada,
Dentro de los límites cuadrados del espacio de píxeles.
Ampliado en rostros alojados en un lugar virtual,
Hace tiempo que abandonó la carrera de ratas.

La luz del día se filtra a través de visillos descoloridos,
En la mano, un café tibio gira.
Las conversaciones van a la deriva, a través de fronteras virtuales,
Su reflejo reflejado, aparece en la pantalla.

En el estante, los libros se inclinan, la charla silenciosa,
Una planta próspera, la única materia viva.
Con los vasos encaramados, el hogar se convierte en su plácido bateador,
Dentro de estos muros, su mundo se dispersó.

En esta mañana de abril de 2024,
Una nueva normalidad, silenciosamente desgastada.

un poema de @poesia.camara

Zhang teoriza que la referencia a «apartado de la carrera de ratas» es una referencia a mi camisa hawaiana.

Los inventores me dicen que la producción de Poetry Camera no se limita a un solo formato. Debido a que el dispositivo es de código abierto, los usuarios pueden elegir entre varias formas poéticas, como haiku, soneto o verso libre, según sus preferencias y su capacidad y voluntad de involucrarse con el código fuente.

A medida que Poetry Camera continúa evolucionando, Zhang y Mather están explorando nuevas formas de mejorar sus capacidades. Perfeccionan y seleccionan constantemente los modelos de IA, amplían las indicaciones del dispositivo y experimentan con técnicas avanzadas de procesamiento del lenguaje natural. El objetivo es crear un dispositivo que genere poesía y entable un diálogo significativo con los usuarios, fomentando una conexión más profunda entre la tecnología y las artes.

La intersección del arte y la tecnología

La Poetry Camera es un testimonio del increíble potencial que existe en la intersección del arte y la tecnología. Aprovechando el poder de la IA y el aprendizaje automático, Zhang y Mather han creado un dispositivo que no sólo captura la belleza del mundo que nos rodea, sino que también la interpreta de una manera que puede resultar sorprendentemente conmovedora. Como tecnología, es simple, pero me encanta lo accesible que Poetry Camera hace las cosas. Se vuelve muy fácil atreverse a soñar y superar los límites de lo que la tecnología puede lograr.

Las pantallas dominan nuestra vida diaria; La Poetry Camera ofrece una refrescante salida de la norma. En lugar de depender de una pantalla digital para mostrar sus producciones poéticas, el dispositivo emplea un método de interacción más táctil e inmersivo. Los poemas generados se imprimen en papel, creando una encarnación física de la experiencia artística. La naturaleza temporal del arte se lleva bastante lejos con Poetry Camera.

“No guardamos ninguna de las imágenes ni los poemas digitalmente. Hay algunas razones para ello: una, es más fácil. Dos: privacidad. En tercer lugar, añade un significado adicional a los poemas si son como este tipo de artefactos efímeros. Si lo pierdes, desaparece”, explica Mather. «Ahora todo el mundo tiene una cámara en el bolsillo a través de su teléfono móvil; queríamos hacer algo muy diferente».

Hemos visto nuevas interfaces de usuario con productos como Plaud y Humane Ai Pin, y este dispositivo continúa en la misma línea. Permite a los usuarios desconectarse del constante aluvión de estímulos visuales e interactuar con las creaciones de Poetry Camera de una manera más consciente y contemplativa. No quiero ser un estudiante de arte, pero la experiencia visceral de tener un poema impreso en mis manos es una invitación a reflexionar sobre las palabras, apreciar la belleza del lenguaje y formar una conexión más profunda con la obra de arte.

La filosofía de diseño se extiende más allá del dispositivo e influye en toda la experiencia del usuario. Zhang y Mather han diseñado cuidadosamente la cámara de poesía para fomentar una sensación de asombro y descubrimiento. Capturar una imagen, esperar a que la IA genere un poema y luego recibir el resultado impreso crea una sensación de anticipación y sorpresa, lo que mejora el compromiso general con el dispositivo.

Un reflejo del futuro de la IA y la informática personal

La filosofía de diseño de Zhang y Mather para Poetry Camera refleja su visión más amplia para el futuro de la informática personal y la IA. Creen que la tecnología debería integrarse perfectamente en nuestra vida diaria, mejorando nuestras experiencias sin abrumarnos con estímulos constantes. Al crear un dispositivo que prioriza la simplicidad y la expresión artística, están desafiando el status quo y allanando el camino para una nueva era de la tecnología.

“Creo que las cámaras de poesía son un microcosmos de lo que sucederá en muchas industrias con la IA. Las cámaras de poesía no se parecen a una disciplina tradicional: nunca has conocido a alguien que diga: «Oh, soy un fotógrafo de poesía para eventos corporativos», se ríe Zhang. Poesía Las cámaras se encuentran a medio camino entre este campo establecido de la fotografía y la poesía. Es esta cosa nueva y extraña. Lo más importante es que es divertido ver a las personas interactuar con ellos: las personas encuentran alegría infantil en su personalidad juguetona”.

¿Que sigue?

Mientras Poetry Camera continúa cautivando al público y generando expectación, Zhang y Mather están considerando cuidadosamente el futuro de su innovadora creación. Si bien el dispositivo comenzó como un proyecto apasionante personal, la respuesta abrumadoramente positiva los llevó a explorar la posibilidad de ponerlo a disposición comercial de un público más amplio.

«Después de las primeras 100 veces que la gente preguntó, dijimos: ‘No lo venderemos’, pero después de 101 preguntas, comenzamos a pensar en ello con más detalle, preguntándonos si deberíamos ponerlo a disposición de la gente», contempla Zhang. “Pero al mismo tiempo es un proyecto de arte, ¿sabes? Nuestra respuesta inicial fue dejar al capitalismo fuera de esto”.

Sin embargo, fieles a su compromiso con la sostenibilidad y el consumo consciente, Zhang y Mather se están tomando un tiempo antes de lanzarse a la producción en masa. En cambio, están adoptando un enfoque más mesurado, con la posibilidad de caídas limitadas de productos que priorizan la calidad sobre la cantidad. Al controlar cuidadosamente el proceso de producción, su objetivo es garantizar que cada Poetry Camera esté diseñada con la máxima atención al detalle y cumpla con sus altos estándares de rendimiento y durabilidad.

Reté al equipo a tener que comprar un producto de hardware: los teléfonos tienen cámaras, conexiones a Internet y pantallas. ¿No sería más sostenible utilizar hardware que ya existe?

«Lo más sostenible sería no fabricar nada en absoluto», coincide Zhang. “Pero inicialmente comenzamos esto como un proyecto de bricolaje de código abiertoy teníamos todas las instrucciones en línea; era sólo que a la gente le resultaba difícil reunir todas las diferentes piezas necesarias. Inicialmente jugamos con la idea de crear un recinto de cartón. Pero he notado que parte de lo que hace que la gente lo ame y quiera jugar con él es el tipo de estética pulida del producto Poké Ball. Creo que para que Poetry Camera cobre vida en su forma más completa, debe ser un producto de apariencia pulida. No sé cómo abordarlo teniendo en cuenta la sostenibilidad, pero es importante para nosotros”.

De cara al futuro, Zhang y Mather imaginan un futuro en el que la Poetry Camera no sea solo un dispositivo novedoso, sino también un catalizador del cambio en la forma en que interactuamos con la tecnología y el arte. Esperan que su creación inspire a otros a explorar la intersección de estos dos campos, ampliando los límites de lo que es posible y creando nuevas formas de expresión.

Me encanta vivir en un mundo donde los pasatiempos entusiastas se cruzan con el arte y la tecnología, y este proyecto encaja perfectamente en ese diagrama de Venn.

“Para mí esto sigue siendo arte porque se trata de expresar. Es un vehículo para dar forma al mundo que queremos ver, que es un mundo donde la gente puede jugar con esta nueva tecnología: la IA no es todo pesimismo. Y no se trata sólo de que la IA imite a los humanos de una manera más profunda, más rápida y peor”, concluye Zhang. “Se trata de hacer algo completamente nuevo con su nueva tecnología y sacar a relucir ese niño interior nuevamente. Para este proyecto, no se trata de ganar dinero, sino de hacer posible nuevamente esa maravilla infantil”.

Si quieres ver más de cerca la cámara en acción, TikTok parece ser el mejor recurso.