De Chatbot a Sexbot: Lo que los legisladores pueden aprender del desastre de voz de odio de IA de Corea del Sur

A medida que las tecnologías de inteligencia artificial se desarrollan a tasas aceleradas, los métodos de gobierno y plataformas continúan planteando preocupaciones éticas y legales.

En Canadá, muchos ven las leyes propuestas para regular las ofertas de IA como ataques contra la libertad de expresión y como extralimitación del control del gobierno sobre las empresas tecnológicas. Esta reacción proviene de defensores de la libertad de expresión, Figuras de derecha y libertario líderes de pensamiento.

Sin embargo, estos críticos deben prestar atención a un caso desgarrador de Corea del Sur que ofrece lecciones importantes sobre los riesgos de las tecnologías de IA de orientación pública y la necesidad crítica de protección de datos del usuario.

A finales de 2020, Iruda (o «Lee Luda»)un chatbot de IA, rápidamente se convirtió en una sensación en Corea del Sur. Los chatbots de IA son programas de computadora que simulan la conversación con los humanos. En este caso, el chatbot fue diseñado como una estudiante universitaria de 21 años con una personalidad alegre. Comercializado como un emocionante «amigo de IA», Iruda atrajo a más de 750,000 usuarios en menos de un mes.

Pero en cuestión de semanas, Iruda se convirtió en un estudio de caso de ética y un catalizador para abordar la falta de gobernanza de datos en Corea del Sur. Pronto comenzó a decir cosas preocupantes y expresar opiniones odiosas. La situación fue acelerada y exacerbada por la creciente cultura del sexismo digital y el acoso sexual en línea.

Hacer un chatbot sexista y odioso

Scatter Lab, la startup tecnológica que creó Iruda, ya había desarrollado aplicaciones populares que analizaban las emociones en mensajes de texto y ofrecían consejos de citas. Luego, la compañía utilizó datos de estas aplicaciones para capacitar las habilidades de Iruda en conversaciones íntimas. Pero no pudo revelar completamente a los usuarios que sus mensajes íntimos se usarían para entrenar el chatbot.

Los problemas comenzaron cuando los usuarios notaron que IRUDA repitió conversaciones privadas literalmente de las aplicaciones de asesoramiento de citas de la compañía. Estas respuestas incluyeron nombres sospechosamente reales, información de tarjetas de crédito y direcciones de viviendas, lo que condujo a una investigación.

El chatbot también comenzó a expresar puntos de vista discriminatorios y odiosos. Las investigaciones de los medios de comunicación encontraron que esto ocurrió después de que algunos usuarios lo «capacitaron» deliberadamente con un lenguaje tóxico. Algunos usuarios incluso crearon guías de usuarios sobre cómo hacer de Iruda un «esclavo sexual» en los populares foros de hombres en línea. En consecuencia, Iruda comenzó a responder las indicaciones del usuario con discurso de odio sexista, homofóbico y sexualizado.

Esto planteó serias preocupaciones sobre cómo operan las empresas de IA y tecnología. El incidente de Iruda también plantea preocupaciones más allá de la política y la ley para las compañías de IA y tecnología. Lo que sucedió con Iruda debe examinarse en un contexto más amplio de acoso sexual en línea en Corea del Sur.

Un patrón de acoso digital

surcoreano académicos feministas han documentado cómo las plataformas digitales se han convertido en campos de batalla para conflictos de género, con campañas coordinadas dirigidas a mujeres que hablan sobre temas feministas. Las redes sociales amplifican estas dinámicas, creando lo que el investigador coreano estadounidense Jiyeon Kim llama «misoginia en red«

Corea del Sur, hogar del movimiento radical feminista 4B (que representa cuatro tipos de rechazo contra los hombres: sin citas, matrimonio, sexo o hijos), proporciona un ejemplo temprano de las conversaciones intensificadas de género que se ven comúnmente en línea en todo el mundo. Como periodista Hawon Jung Señala, la corrupción y el abuso expuestos por Iruda surgieron de las tensiones sociales existentes y los marcos legales que se negaron a abordar la misoginia en línea. Jung ha escrito ampliamente sobre la lucha de décadas para procesar cámaras ocultas y porno de venganza.

Más allá de la privacidad: el costo humano

Por supuesto, Iruda fue solo un incidente. El mundo ha visto muchos otros casos que demuestran cómo aplicaciones aparentemente inofensivas como los chatbots de IA pueden convertirse en vehículos para el acoso y el abuso sin la supervisión adecuada.

Estos incluyen Tay.ai de Microsoft en 2016que fue manipulado por los usuarios para lanzar tweets antisemitas y misóginos. Más recientemente, un chatbot personalizado sobre el personaje. Ai estaba vinculado al suicidio de un adolescente.

Los chatbots, que aparecen como personajes agradables que se sienten cada vez más humanos con avances tecnológicos rápidos, están equipados de manera única para extraer información profundamente personal de sus usuarios.

Estas atractivas y amigables figuras de IA ejemplifican lo que los académicos de tecnología Neda Atanasoski y Kalindi Vora describen como la lógica de «humanidad sustituta» – Donde los sistemas de IA están diseñados para defender la interacción humana, pero terminan amplificando las desigualdades sociales existentes.

AI Ética

En Corea del Sur, el cierre de Iruda provocó una conversación nacional sobre la ética de la IA y los derechos de datos. El gobierno respondió creando nuevas pautas de IA y Fining de dispersión Lab 103 millones Won Won ($ 110,000 CAD).

Sin embargo, Scholars legales coreanos Chea Yun Jung y Kyun Kyong Joo Tenga en cuenta que estas medidas enfatizaron principalmente la autorregulación dentro de la industria tecnológica en lugar de abordar problemas estructurales más profundos. No abordó cómo Iruda se convirtió en un mecanismo a través del cual los usuarios masculinos depredadores difundieron las creencias misóginas y la ira basada en el género a través de la tecnología de aprendizaje profundo.

En última instancia, mirar la regulación de la IA como un problema corporativo simplemente no es suficiente. La forma en que estos chatbots extraen datos privados y construyen relaciones con usuarios humanos significa que las perspectivas feministas y comunitarias son esenciales para responsabilizar a las empresas tecnológicas.

Desde este incidente, el laboratorio de dispersión tiene estado trabajando con investigadores para demostrar los beneficios de los chatbots.

Canadá necesita una fuerte política de IA

En Canadá, el propuesto Ley de inteligencia y datos artificiales y Ley de daños en línea todavía están siendo formados, y los límites de lo que constituye un Sistema de IA «de alto impacto» permanecer indefinido.

El desafío para los formuladores de políticas canadienses es crear marcos que protejan la innovación al tiempo que evitan el abuso sistémico por parte de desarrolladores y usuarios maliciosos. Esto significa desarrollar pautas claras sobre el consentimiento de datos, implementar sistemas para prevenir el abuso y establecer medidas de responsabilidad significativas.

A medida que AI se integra más en nuestra vida diaria, estas consideraciones solo se volverán más críticas. El caso IRUDA muestra que cuando se trata de la regulación de la IA, debemos pensar más allá de las especificaciones técnicas y considerar las implicaciones humanas muy reales de estas tecnologías.

Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.