Los usuarios cuestionan la capacidad de AI para moderar el acoso en línea

La investigación de la Universidad de New Cornell encuentra que tanto el tipo de moderador (humano o IA) como la «temperatura» del contenido de acoso en línea influyen en la percepción de las personas sobre la decisión de moderación y el sistema de moderación.

Ahora publicado en Big Data y Sociedad, el estudio utilizó un sitio de redes sociales personalizado, en el que las personas pueden publicar imágenes de alimentos y comentar otras publicaciones. El sitio contiene un motor de simulación, Truman, una plataforma de código abierto que imita los comportamientos de otros usuarios (me gusta, comentarios, publicaciones) a través de bots preprogramados creados y seleccionados por investigadores.

La plataforma Truman, llamada así por la película de 1998 «The Truman Show», fue desarrollada en el Laboratorio de Medios Sociales de Cornell dirigido por Natalie Bazarova, profesora de comunicación.

«La plataforma Truman permite a los investigadores crear una experiencia de medios sociales controlada pero realista para los participantes, con versatilidad social y de diseño para examinar una variedad de preguntas de investigación sobre el comportamiento humano en los medios sociales», dijo Bazarova. «Truman ha sido una herramienta increíblemente útil, tanto para mi grupo como para otros investigadores, para desarrollar, implementar y probar diseños e intervenciones dinámicas, al tiempo que permite recopilar y observar los comportamientos de las personas en el sitio».

Para el estudio, se les dijo a casi 400 participantes que realizarían una prueba beta de una nueva plataforma de redes sociales. Fueron asignados al azar a una de las seis condiciones del experimento, variando tanto el tipo de sistema de moderación de contenido (otros usuarios; IA; ninguna fuente identificada) como el tipo de comentario de acoso que vieron (ambiguo o claro).

Se pidió a los participantes que iniciaran sesión al menos dos veces al día durante dos días; estuvieron expuestos a un comentario de acoso, ya sea ambiguo o claro, entre dos usuarios diferentes (bots) que fue moderado por un ser humano, una IA o una fuente desconocida.

Los investigadores descubrieron que, en general, es más probable que los usuarios cuestionen a los moderadores de IA, especialmente en qué medida pueden confiar en su decisión de moderación y en la responsabilidad del sistema de moderación, pero solo cuando el contenido es inherentemente ambiguo. Para un comentario de acoso más claro, la confianza en AI, humanos o una fuente desconocida de moderación fue aproximadamente la misma.

«Es interesante ver que cualquier tipo de ambigüedad contextual resurge sesgos inherentes con respecto a posibles errores de la máquina», dijo Marie Ozanne, primera autora del estudio y profesora asistente de gestión de alimentos y bebidas.

Ozanne dijo que la confianza en la decisión de moderación y la percepción de la responsabilidad del sistema, es decir, si se percibe que el sistema actúa en el mejor interés de todos los usuarios, son juicios subjetivos y «cuando hay dudas, una IA parece ser más cuestionada que una fuente de moderación humana o desconocida».

Los investigadores sugieren que el trabajo futuro debería analizar cómo reaccionarían los usuarios de las redes sociales si vieran a humanos y moderadores de IA trabajando juntos, con máquinas capaces de manejar grandes cantidades de datos y humanos capaces de analizar comentarios y detectar sutilezas en el lenguaje.

«Incluso si la IA pudiera moderar el contenido de manera efectiva», escribieron, «hay un [need for] los moderadores humanos como reglas en la comunidad cambian constantemente y los contextos culturales difieren».