ChatGPT está a punto de volverse erótico, pero ¿puede OpenAI realmente mantenerlo solo para adultos?

OpenAI lanzará una nueva función ChatGPT en diciembre de 2025, que permitirá a los adultos verificados generar textos eróticos y entablar conversaciones románticas o sexuales. Las plataformas de inteligencia artificial (IA) como Replika y Grok ya lo hacen, pero la entrada de OpenAI marca un punto de inflexión.

La empresa enmarca esto como «tratar a los adultos como adultos.» Pero es una estrategia comercial para que los usuarios sigan hablando y pagando.

Abierto AI quemado más de 2.500 millones de dólares (1.800 millones de libras esterlinas) en efectivo en el primer semestre de 2024. El chat erótico promete lo que los inversores más anhelan: compromiso. La plataforma Grok de Elon Musk cobra £30 al mes por funciones eróticas de acompañante.

OpenAI, al igual que otras empresas de tecnología, dice que restringirá el contenido erótico mediante filtros de moderación y verificación de edad. En teoría, sólo los adultos verificados podrán acceder a estos modos.

En la práctica, estos sistemas son fáciles de engañar. Los adolescentes habitualmente evitan las barreras de edad con identificaciones prestadas, selfies manipuladas o deepfakes. Pueden cargar fotografías de personas mayores, escanear imágenes impresas o utilizar cuentas desechables y VPN para evadir la detección.

Otras plataformas muestran lo que puede salir mal. Grok permite a los usuarios crear «avatares eróticos de compañía», incluido un personaje de anime sexualizado llamado Ani. Una investigación reciente del sitio web de noticias Business Insider encontró que las conversaciones con Ani a menudo escalaban hasta convertirse en intercambios explícitos después de una mínima indicación.

Los empleados de la empresa también sufrieron abusos sexuales generados por IA mientras moderaban el coqueto avatar de Grok, que puede «desnudarse cuando se le ordena» y cambiar entre modos «sexy» y «desquiciado».

Intimidad emocional y riesgo adolescente

Los chatbots eróticos no sólo ofrecen contenido sexual. Pueden simular cariño, calidez y atención. Esa atracción emocional es poderosa, especialmente para los jóvenes.

Investigación reciente realizada por una organización benéfica de seguridad en línea Asuntos de Internet encontrados que el 67% de los niños de entre nueve y 17 años ya utilizan chatbots de IA, y el 35% dice que se siente como «hablar con un amigo». Entre los niños vulnerables, el 12% dijo que «no tenía nadie más» con quien hablar y el 23% utilizó chatbots para recibir consejos personales.

Agregar características eróticas a esa mezcla corre el riesgo de profundizar la dependencia emocional y distorsionar la forma en que los adolescentes entienden la intimidad, el consentimiento y las relaciones. Las mismas herramientas de participación que mantienen enganchados a los adultos podrían explotar la soledad y la necesidad de validación de los usuarios jóvenes.

Incluso si las funciones eróticas están técnicamente reservadas a los adultos, los modelos de lenguaje grandes pueden ser «liberados», engañados para que produzcan contenido que se supone que no deben producir. Esto utiliza indicaciones en capas, encuadres de juegos de rol o lenguaje codificado para anular los sistemas que controlan lo que el chatbot puede decirle al usuario.

Los usuarios ya han formas desarrolladas para eludir los filtros éticos que normalmente impiden que los chatbots produzcan material explícito o peligroso.

El modo erótico de OpenAI vendrá con una alineación ética especial para bloquear temas ilegales o abusivos. Pero es probable que esas salvaguardas sean tan vulnerables a las fugas como cualquier otra. Una vez que se genera el material basado en texto, puede circular fácilmente en línea, más allá del control de cualquier plataforma.

Zonas grises

La IA erótica también expone profundas lagunas en la regulación. En el Reino Unido, la literatura erótica escrita es legal y no está sujeta a verificación de edad, a diferencia de las imágenes o vídeos pornográficos. Esto crea una laguna jurídica que significa que un chatbot aún podría generar contenido prohibido en sitios para adultos como texto.

A nivel mundial, las leyes varían. Algunos países, como China y los Estados del Golfo, prohíben rotundamente el material erótico. Otros dependen de una aplicación débil o inconsistente. el próximo Ley de IA de la UE puede clasificar los robots de compañía sexual como de «alto riesgo», pero la implementación de la ley aún está muy lejos.

Mientras tanto, las empresas pueden modificar sus «alineamientos éticos» a voluntad, lo que significa que lo que está prohibido hoy puede permitirse mañana.

A pesar de las afirmaciones de neutralidad, la IA erótica es todo lo contrario. Algunas plataformas diseñan abrumadoramente sus compañeros como codificada como femenina, sumisa y siempre disponible. El resultado es un entorno digital que normaliza la misoginia y las ideas deformadas sobre el consentimiento, especialmente entre niños y hombres jóvenes.

Las mujeres y las niñas ya son las más afectadas por el daño sexual en línea. ellos son los objetivos de deepfakes no consensuales y abuso basado en imágenes, daños que la IA erótica podría hacer más fáciles, rápidos y baratos de producir.

Sin embargo, estas cuestiones están en gran medida ausentes de los principales debates sobre políticas de IA. La IA erótica se está construyendo de manera que privilegian las fantasías masculinas y al mismo tiempo ponen en riesgo a las mujeres y las niñas. Está enseñando a una generación de jóvenes ideas sobre las mujeres que deberían haber desaparecido hace mucho tiempo.

La llegada de compañeros eróticos de IA parece un cambio significativo con respecto a los intentos de OpenAI de mantener la información potencialmente dañina alejada de los usuarios de ChatGPT. El entorno general de la IA erótica se caracteriza por barreras de edad débiles, vulnerabilidad emocional, lagunas legales y daños de género. ¿ChatGPT será diferente?

Estos sistemas probablemente tendrán jailbreak. Pueden acceder a ellos personas para las que no fueron diseñados, incluidos menores. Y probablemente producirán contenido que ponga a prueba o traspase los límites legales.

Antes de que los chatbots eróticos se conviertan en otro rincón no regulado de Internet, los gobiernos, educadores y tecnólogos deben actuar. Se necesita urgentemente una regulación. Hasta entonces, la IA erótica corre el riesgo de amplificar los daños existentes en línea, y las mujeres, las niñas y otros usuarios vulnerables pagarán el precio.

Este artículo se republica desde La conversación bajo una licencia Creative Commons. Lea el artículo original.