Los legisladores de California abordan los peligros potenciales de los chatbots de IA después de que los padres plantean preocupaciones de seguridad

Cuando su hijo de 14 años se quitó la vida después de interactuar con chatbots de inteligencia artificiales, Megan García convirtió su dolor en acción.

El año pasado, la madre de Florida demandó al personaje. AI, una plataforma donde las personas pueden crear e interactuar con personajes digitales que imitan a las personas reales y ficticias.

García alegó en una demanda federal que los chatbots de la plataforma dañaron la salud mental de su hijo, Sewell Setzer III, y la compañía Menlo Park, California, no logró notificarle su ayuda cuando expresó pensamientos suicidas a estos personajes virtuales.

Ahora García está respaldando la legislación estatal que tiene como objetivo salvaguardar a los jóvenes de los chatbots «compañeros» que dice «están diseñados para involucrar a los usuarios vulnerables en conversaciones románticas y sexuales inapropiadas» y «fomentar la autolesión».

«Con el tiempo, necesitaremos un marco regulatorio integral para abordar todos los daños, pero en este momento, estoy agradecido de que California esté a la vanguardia de poner este terreno», dijo García en una conferencia de prensa el martes antes de una audiencia en Sacramento para revisar el proyecto de ley.

A medida que las empresas se mueven rápidamente para avanzar en chatbots, padres, legisladores y grupos de defensa infantil están preocupados de que no haya suficientes salvaguardas para proteger a los jóvenes de los peligros potenciales de la tecnología.

Para abordar el problema, los legisladores estatales presentaron un proyecto de ley que requeriría que los operadores de plataformas de chatbot complementarias recuerden a los usuarios al menos cada tres horas que los personajes virtuales no son humanos. Las plataformas también deberían tomar otros pasos, como implementar un protocolo para abordar la ideación suicida, el suicidio o el autolesión expresado por los usuarios. Eso incluye mostrar a los usuarios recursos de prevención del suicidio.

Según el Proyecto de Ley 243 del Senado, el operador de estas plataformas también informaría el número de veces que un chatbot complementario mencionó la ideación o las acciones del suicidio con un usuario, junto con otros requisitos.

La legislación, que despejó el Comité Judicial del Senado, es solo una forma en que los legisladores estatales están tratando de abordar los riesgos potenciales planteados por la inteligencia artificial a medida que los chatbots aumentan la popularidad entre los jóvenes. Más de 20 millones de personas usan carácter. AI cada mes y los usuarios han creado millones de chatbots.

Los legisladores dicen que el proyecto de ley podría convertirse en un modelo nacional para las protecciones de IA y que algunos de los partidarios del proyecto de ley incluyen el grupo de defensa de los niños Common Sense Media y la Academia Americana de Pediatría, California.

«La innovación tecnológica es crucial, pero nuestros hijos no pueden usarse como conejillos de indias para probar la seguridad de los productos. Las apuestas son altas», dijo el senador Steve Padilla, D-Chula Vista, uno de los legisladores que introdujo el proyecto de ley, en el evento asistido por García.

Pero la industria tecnológica y los grupos empresariales, incluidos Technet y la Cámara de Comercio de California, se oponen a la legislación, diciéndole a los legisladores que impondría «requisitos innecesarios y onerosos a los modelos de IA de uso general». La Electronic Frontier Foundation, un grupo de derechos digitales sin fines de lucro con sede en San Francisco, dice que la legislación plantea problemas de la Primera Enmienda.

«El gobierno probablemente tiene un interés convincente en prevenir el suicidio. Pero esta regulación no está limitada o precisa», escribió Eff a los legisladores.

El carácter. AI también ha aparecido en las preocupaciones de la Primera Enmienda sobre la demanda de García. Sus abogados le pidieron a un tribunal federal en enero que desestimara el caso, afirmando que un hallazgo a favor de los padres violaría el derecho constitucional de los usuarios a la libertad de expresión.

Chelsea Harrison, una portavoz del personaje.

«Siempre estamos trabajando para lograr ese equilibrio, al igual que muchas compañías que usan IA en toda la industria. Damos la bienvenida a trabajar con reguladores y legisladores a medida que comienzan a considerar la legislación para este espacio emergente», dijo en un comunicado.

Ella citó nuevas características de seguridad, incluida una herramienta que permite a los padres ver cuánto tiempo pasan sus adolescentes en la plataforma. La compañía también citó sus esfuerzos para moderar contenido potencialmente dañino y dirigir a ciertos usuarios al suicidio nacional y al salvavidas de crisis.

Las compañías de redes sociales, incluida la empresa matriz de Snap y Facebook, Meta, también han lanzado AI Chatbots dentro de sus aplicaciones para competir con el ChatGPT de Openai, que las personas usan para generar texto e imágenes. Si bien algunos usuarios han usado ChatGPT para obtener consejos o trabajos completos, algunos también han recurrido a estos chatbots para desempeñar el papel de un novio o amigo virtual.

Los legisladores también están lidiando con cómo definir «chatbot complementario». Ciertas aplicaciones como Replika y Kindroid comercializan sus servicios como compañeros de IA o amigos digitales. La factura no se aplica a los chatbots diseñados para el servicio al cliente.

Padilla dijo durante la conferencia de prensa que la legislación se centra en el diseño de productos que es «inherentemente peligroso» y está destinado a proteger a los menores.

2025 Los Angeles Times. Distribuido por Tribune Content Agency, LLC.