Los espacios en línea están plagados de toxicidad. Las herramientas de inteligencia artificial bien diseñadas pueden ayudar a limpiarlos

Imagínese navegando por las redes sociales o jugando un juego en línea, sólo para ser interrumpido por comentarios insultantes y acosadores. ¿Qué pasaría si una herramienta de inteligencia artificial (IA) interviniera para eliminar el abuso incluso antes de que usted lo viera?

Esto no es ciencia ficción. Herramientas comerciales de IA como ToxMod y Guardaespaldas.ai ya se utilizan para monitorear interacciones en tiempo real en redes sociales y plataformas de juegos. Pueden detectar y responder a comportamientos tóxicos.

La idea de una IA que todo lo ve y monitoree cada uno de nuestros movimientos puede parecer orwelliana, pero estas herramientas podrían ser clave para hacer de Internet un lugar más seguro.

Sin embargo, para que la moderación de la IA tenga éxito, es necesario priorizar valores como la privacidad, la transparencia, la explicabilidad y la equidad. Entonces, ¿podemos garantizar que se pueda confiar en la IA para mejorar nuestros espacios en línea? Nuestros dos proyectos de investigación recientes sobre la moderación impulsada por la IA muestran que esto se puede hacer, y que tenemos más trabajo por delante.

La negatividad prospera en línea

La toxicidad en línea es un problema creciente. Cerca de la mitad de los jóvenes australianos han experimentado algún tipo de interacción negativa en línea, con casi Uno de cada cinco sufre ciberbullying..

Ya sea un solo comentario ofensivo o una serie de acoso sostenido, este tipo de interacciones dañinas son parte de la vida diaria de muchos usuarios de Internet.

La gravedad de la toxicidad en línea es una de las razones por las que el gobierno australiano ha propuesto prohibir las redes sociales para niños menores de 14 años.

Pero este enfoque no logra abordar plenamente un problema subyacente central: el diseño de plataformas en línea y herramientas de moderación. Necesitamos repensar cómo se diseñan las plataformas en línea para minimizar las interacciones dañinas para todos los usuarios, no solo para los niños.

Desafortunadamente, muchos gigantes tecnológicos con poder sobre nuestras actividades en línea han tardado en asumir más responsabilidades, dejando lagunas importantes en medidas de moderación y seguridad.

Aquí es donde la moderación proactiva de la IA ofrece la oportunidad de crear espacios en línea más seguros y respetuosos. Pero, ¿puede la IA realmente cumplir esta promesa? Esto es lo que encontramos.

‘Havoc’ en los juegos multijugador online

En nuestro Proyecto de Moderación de Juegos e Inteligencia Artificial (GAIM), nos propusimos comprender las oportunidades éticas y los peligros de la moderación impulsada por la IA en los juegos multijugador en línea. Realizamos 26 entrevistas en profundidad con jugadores y profesionales de la industria para descubrir cómo usan y piensan sobre la IA en estos espacios.

Los entrevistados vieron la IA como una herramienta necesaria para hacer que los juegos sean más seguros y combatir los «estragos» causados ​​por la toxicidad. Con millones de jugadores, los moderadores humanos no pueden captarlo todo. Pero una IA incansable y proactiva puede captar lo que los humanos pasan por alto, ayudando a reducir el riesgo. estrés y agotamiento asociado con la moderación de mensajes tóxicos.

Pero muchos jugadores también expresaron confusión sobre el uso de la moderación de la IA. No entendían por qué recibían suspensiones de cuentas, prohibiciones y otros castigos, y a menudo se sentían frustrados porque sus propios informes de comportamiento tóxico parecían perderse en el vacío, sin respuesta.

Los participantes estaban especialmente preocupados por la privacidad en situaciones en las que se utiliza la IA para moderar el chat de voz en los juegos. Un jugador exclamó: «Dios mío, ¿es eso siquiera legal?» Lo es, y ya está sucediendo en juegos populares en línea como Obligaciones.

Nuestro estudio reveló que existe un tremendo potencial positivo para la moderación de la IA. Sin embargo, las empresas de juegos y redes sociales tendrán que trabajar mucho más para que estos sistemas sean transparentes, empoderadores y confiables.

En este momento, se considera que la moderación de la IA funciona de manera muy similar a un oficial de policía en un sistema de justicia opaco. ¿Qué pasaría si la IA tomara la forma de un maestro, tutor o defensor¿educar, empoderar o apoyar a los usuarios?

Ingrese el aliado de la IA

Aquí es donde nuestro segundo proyecto Aliado de la IA entra, una iniciativa financiada por el Comisionado de eSafety. En respuesta a Altas tasas de violencia de género basada en la tecnología en Australiaestamos codiseñando una herramienta de inteligencia artificial para ayudar a niñas, mujeres y personas de género diverso a navegar por espacios en línea más seguros.

Encuestamos a 230 personas de estos grupos y descubrimos que el 44% de nuestros encuestados «a menudo» o «siempre» experimentaron acoso de género en al menos una plataforma de redes sociales. Ocurrió con mayor frecuencia en respuesta a actividades cotidianas en línea, como publicar fotos de ellos mismos, particularmente en forma de comentarios sexistas.

Curiosamente, nuestros encuestados informaron que documentar casos de abuso en línea era especialmente útil cuando querían apoyar a otros objetivos de acoso, por ejemplo, recopilando capturas de pantalla de comentarios abusivos. Pero sólo unos pocos de los encuestados lo hicieron en la práctica. Es comprensible que muchos también temieran por su propia seguridad si intervenían defendiendo a alguien o incluso hablando en un hilo de comentarios públicos.

Estos son hallazgos preocupantes. En respuesta, estamos diseñando nuestra herramienta de inteligencia artificial como un panel opcional que detecta y documenta comentarios tóxicos. Para ayudarnos a guiarnos en el proceso de diseño, hemos creado un conjunto de «personas» que capturan a algunos de nuestros usuarios objetivo, inspirados en los encuestados.

Permitimos a los usuarios tomar sus propias decisiones sobre si filtrar, marcar, bloquear o denunciar el acoso de manera eficiente que se alinee con sus propias preferencias y seguridad personal.

De esta manera, esperamos utilizar la IA para ofrecer a los jóvenes apoyo de fácil acceso para gestionar la seguridad en línea y al mismo tiempo ofrecerles autonomía y una sensación de empoderamiento.

Todos podemos desempeñar un papel.

AI Ally muestra que podemos utilizar la IA para ayudar a que los espacios en línea sean más seguros sin tener que sacrificar valores como la transparencia y el control del usuario. Pero aún queda mucho por hacer.

Otras iniciativas similares incluyen Gerente de Acosoque fue diseñado para identificar y documentar el abuso en Twitter (ahora X), y corazónmobuna comunidad donde las víctimas del acoso en línea pueden buscar apoyo.

Hasta que se adopten más ampliamente las prácticas éticas de IA, los usuarios deben mantenerse informados. Antes de unirse a una plataforma, verifique si son transparentes sobre sus políticas y ofrecen al usuario control sobre la configuración de moderación.

Internet nos conecta con recursos, trabajo, juego y comunidad. Toda persona tiene derecho a acceder a estos beneficios sin acoso ni abuso. Depende de todos nosotros ser proactivos y abogar por una tecnología más inteligente y ética que proteja nuestros valores. y nuestros espacios digitales.

El aliado de la IA El equipo está formado por la Dra. Mahli-Ann Butt, la Dra. Lucy Sparrow, el Dr. Eduardo Oliveira, Ren Galwey, Dahlia Jovic, Sable Wang-Wills, Yige Song y Maddy Weeks.

Este artículo se republica desde La conversación bajo una licencia Creative Commons. Lea el artículo original.