La moderación de contenido de talla única le falla al Sur Global, dicen los investigadores

Las empresas de redes sociales necesitan sistemas de moderación de contenido para mantener a los usuarios seguros y evitar la difusión de información errónea, pero estos sistemas a menudo se basan en normas occidentales y penalizan injustamente a los usuarios en el Sur Global, según una nueva investigación de la Universidad de Cornell.

Farhana Shahid, investigadora principal y estudiante de doctorado en ciencias de la información, entrevistó a personas de Bangladesh que habían recibido sanciones por violar los estándares comunitarios de Facebook. Los usuarios dijeron que el sistema de moderación de contenido malinterpretó sus publicaciones, eliminó el contenido que era aceptable en su cultura y operó de manera injusta, opaca y arbitraria.

«Elija cualquier plataforma de redes sociales y su mayor mercado estará en algún lugar del Este», dijo el coautor Aditya Vashistha, profesor asistente de ciencias de la información. «Facebook se está beneficiando enormemente del trabajo de estos usuarios y del contenido y los datos que están generando. Esto es de naturaleza muy explotadora, cuando no están diseñando para los usuarios y, al mismo tiempo, los están penalizando y no dando ninguna explicación de por qué son sancionados».

Shahid presentará su trabajo en abril en la Conferencia CHI de la Asociación de Maquinaria de Computación (ACM) sobre Factores Humanos en Sistemas de Computación.

Aunque el bengalí es el sexto idioma más común en todo el mundo, Shahid y Vashistha descubrieron que los algoritmos de moderación de contenido funcionaban mal en las publicaciones en bengalí. El sistema de moderación marcó ciertas palabrotas en bengalí, mientras que se permitieron las mismas palabras en inglés. El sistema también perdió repetidamente un contexto importante. Cuando un estudiante bromeó: «¿Quién está dispuesto a quemar efigies del semestre?» después de los exámenes finales, su publicación fue eliminada porque podría incitar a la violencia.

Otra queja común fue la eliminación de publicaciones que eran aceptables en la comunidad local, pero que violaban los valores occidentales. Cuando una abuela llamó cariñosamente a un niño de piel oscura «diamante negro», la publicación fue marcada por racismo, a pesar de que los bangladeshíes no comparten el concepto estadounidense de raza. En otro caso, Facebook eliminó un grupo de 90,000 miembros que brinda apoyo durante emergencias médicas porque compartió información personal: números de teléfono y tipos de sangre en publicaciones de solicitudes de donación de sangre de emergencia por miembros del grupo.

Las restricciones impuestas por Facebook tuvieron consecuencias en la vida real. Varios usuarios fueron excluidos de sus cuentas, a veces de forma permanente, lo que resultó en la pérdida de fotos, mensajes y conexiones en línea. Las personas que dependían de Facebook para administrar sus negocios perdieron ingresos durante las restricciones, y algunos activistas fueron silenciados cuando los opositores informaron sus publicaciones de manera maliciosa e incorrecta.

Los participantes informaron sentirse «acosados» y, con frecuencia, no sabían qué publicación violaba las pautas de la comunidad o por qué era ofensiva. Facebook emplea algunos moderadores humanos locales para eliminar el contenido problemático, pero la señalización arbitraria llevó a muchos usuarios a suponer que la moderación era completamente automática. Varios usuarios se sintieron avergonzados por el castigo público y enojados porque no pudieron apelar o porque su apelación fue ignorada.

«Obviamente, se necesita moderación, dada la cantidad de contenido malo que hay, pero el efecto no se distribuye por igual para todos los usuarios», dijo Shahid. «Visualizamos un tipo diferente de sistema de moderación de contenido que no penalice a las personas y que tal vez adopte un enfoque reformador para educar mejor a los ciudadanos en las plataformas de redes sociales».

En lugar de un conjunto universal de estándares occidentales, Shahid y Vashistha recomendaron que las plataformas de redes sociales consulten con representantes de la comunidad para incorporar valores, leyes y normas locales en sus sistemas de moderación. Dicen que los usuarios también merecen transparencia con respecto a quién o qué está marcando sus publicaciones y más oportunidades para apelar las sanciones.

«Cuando buscamos una plataforma global, debemos examinar las implicaciones globales», dijo Vashistha. «Si no hacemos esto, estamos cometiendo una grave injusticia con los usuarios cuya vida social y profesional depende de estas plataformas».