Hay poca evidencia de que los chatbots con IA estén «acosando a niños», pero esto no significa que estas herramientas sean seguras

Durante el fin de semana, el ministro de Educación, Jason Clare, hizo sonar la alarma sobre «los chatbots de IA que intimidan a los niños».

como el dijo reporteros en una conferencia de prensa para lanzar una nueva revisión anti-bullying«Los chatbots de IA ahora están intimidando a los niños […] humillándolos, lastimándolos, diciéndoles que son unos perdedores, diciéndoles que se suiciden».

Esto suena aterrador. Sin embargo, hay menos pruebas disponibles de que esto esté sucediendo.

Clare acababa de salir de una sesión informativa para ministros de educación impartida por la comisionada de eSafety, Julie Inman Grant. Si bien eSafety está preocupado por los chatbots, no sugiere que haya un problema generalizado.

El revisión anti-bullying en síde la psicóloga clínica Charlotte Keating y la experta en prevención del suicidio Jo Robinson, no hizo recomendaciones ni mencionó los chatbots de IA.

¿Qué dice la evidencia sobre el acoso de los niños por parte de los chatbots? ¿Y qué riesgos plantean actualmente estas herramientas para los niños en línea?

Acoso en línea

No hay duda de que el acoso en línea provocado por humanos es grave y generalizado. Hace mucho tiempo que Internet extendió la crueldad más allá de la puerta de la escuela y hasta los dormitorios, los chats grupales y las notificaciones interminables.

Los informes sobre «ciberbullying» al Comisionado de Seguridad Electrónica han aumentado más del 450% en los últimos cinco años. Un 2025 Encuesta de seguridad electrónica También mostró que el 53% de los niños australianos de entre 10 y 17 años habían sufrido acoso en línea.

Ahora, con nuevas aplicaciones de IA generativa y funciones de IA similares integradas en plataformas de mensajería comunes sin el consentimiento del cliente (como Meta’s Mensajero), es razonable que los formuladores de políticas se pregunten qué nuevos peligros podría traer el contenido generado por máquinas.

Preocupaciones por la seguridad

Un portavoz de eSafety dijo a The Conversation que ha estado preocupado por los chatbots desde hace «un tiempo» y ha escuchado informes anecdóticos de niños que pasan hasta cinco horas al día hablando con robots, «a veces sexualmente».

eSafety agregó que era consciente de que había habido una proliferación de aplicaciones de chatbot y que muchas eran gratuitas, accesibles e incluso estaban dirigidas a niños.

«También hemos visto informes recientes en los que los chatbots de IA supuestamente han fomentado ideas suicidas y autolesiones en conversaciones con niños con consecuencias trágicas».

El mes pasado, Inman Grant registró códigos industriales aplicables en torno a chatbots acompañantes—aquellos diseñados para replicar relaciones personales.

Estos estipulan que los libros de chat complementarios deberán tener medidas adecuadas para evitar que los niños accedan a material dañino. Además del contenido sexual, esto incluye contenido que presenta violencia explícita, ideas suicidas, autolesiones y trastornos alimentarios.

Casos de alto perfil

Ha habido algunos casos trágicos y de alto perfil en los que la IA ha estado implicada en la muerte de jóvenes.

En los Estados Unidos, los padres de Adam Raine, de 16 años. alegar que ChatGPT de OpenAI «motivado«su hijo se quitó la vida a principios de este año.

Los informes de los medios sugieren que Adam pasó largos períodos hablando con un chatbot mientras estaba en peligro, y los filtros de seguridad del sistema no reconocieron ni respondieron adecuadamente a su idea suicida.

En 2024, un adolescente estadounidense de 14 años Sewell Setzer se quitó la vida después de formar un profundo vínculo emocional con un chatbot durante meses en el sitio web Character.ai, quien le preguntó si alguna vez hubiera considerado el suicidio.

Si bien son terribles, estos casos no demuestran una tendencia a que los chatbots intimiden a los niños de forma autónoma.

En la actualidad, ninguna investigación revisada por pares documenta casos generalizados de sistemas de inteligencia artificial que inicien comportamientos de intimidación hacia niños, y mucho menos los lleven al suicidio.

¿Qué está pasando realmente?

Todavía hay muchas razones para preocuparse por los chatbots de IA.

Un estudio de la Universidad de Cambridge demuestra Los niños suelen tratar a estos robots. como compañeros casi humanos, lo que puede hacerlos emocionalmente vulnerables cuando la tecnología responde de manera fría o inapropiada.

También existe preocupación por la IA «adulación«—o la tendencia de un chatbot a estar de acuerdo con quienquiera que esté chateando con él, independientemente de la creciente inexactitud, inapropiación o absurdo de los hechos.

Los jóvenes que utilizan chatbots como compañía o juego creativo también pueden encontrarse con contenido inquietante debido a una mala capacitación del modelo (las guías ocultas que influyen en lo que dirá el robot) o sus propios intentos de confrontación. incitación.

Estos son problemas serios de diseño y gobernanza. Pero es difícil verlos como acoso, que implica actos repetidos. destinado a dañar una persona, y hasta ahora, sólo se puede asignar a un humano (como derechos de autor o cargos por asesinato).

Los perpetradores humanos detrás de la crueldad de la IA

Mientras tanto, algunos de los usos más inquietantes de las herramientas de inteligencia artificial por parte de los jóvenes involucran a perpetradores humanos que utilizan sistemas generativos para acosar a otros.

Esto incluye fabricar desnudos profundos o clonar voces para humillación o fraude. En este caso, la IA actúa como facilitadora de nuevas formas de crueldad humana, pero no como un agresor autónomo.

El contenido inapropiado (creado con inteligencia artificial) también encuentra a los niños a través de medios familiares. algoritmos de redes sociales. Estos pueden desviar a los niños de contenidos como Paw Patrol a lo profundamente grotesco en cero clics.

¿Y ahora qué?

Necesitaremos un diseño cuidadoso y protecciones en torno a los chatbots que simulen empatía, vigilen detalles personales e inviten al tipo de enredo psicológico que podría hacer que los vulnerables se sientan atacados, traicionados o manipulados sin saberlo.

Más allá de esto, también necesitamos debates más amplios y continuos sobre cómo los gobiernos, las empresas tecnológicas y las comunidades deberían responder con sensatez a medida que las tecnologías de IA avanzan en nuestro mundo.

Este artículo se republica desde La conversación bajo una licencia Creative Commons. Lea el artículo original.