Un equipo desarrolla una herramienta basada en inteligencia artificial para detectar discursos de odio en idiomas del sudeste asiático

Internet, y en particular las redes sociales, han crecido exponencialmente en las últimas décadas. La naturaleza de las redes sociales permite que cualquiera pueda conectarse y crear contenido que le resulte interesante, ya sea apropiado o no. Una forma de contenido inapropiado es el discurso de odio, es decir, el discurso ofensivo o amenazante dirigido contra ciertas personas en función de su etnia, religión, orientación sexual, etc.

Los modelos de detección de discurso de odio son sistemas computacionales que pueden identificar y clasificar los comentarios en línea como discurso de odio.

«Estos modelos son cruciales para moderar el contenido en línea y mitigar la propagación de discursos nocivos, en particular en las redes sociales», dijo el profesor adjunto Roy Lee de la Universidad de Tecnología y Diseño de Singapur (SUTD). Evaluar el desempeño de los modelos de detección de discursos de odio es importante, pero la evaluación tradicional que utiliza conjuntos de pruebas a menudo no logra evaluar adecuadamente el desempeño del modelo debido al sesgo inherente a los conjuntos de datos.

Para superar esta limitación, se introdujeron HateCheck y Multilingual HateCheck (MHC) como pruebas funcionales que capturan la complejidad y diversidad del discurso de odio mediante la simulación de escenarios del mundo real. En su artículo de investigación titulado «SGHateCheck: pruebas funcionales para detectar el discurso de odio en idiomas de bajos recursos de Singapur», el profesor adjunto Lee y su equipo se basan en los marcos de HateCheck y MHC para desarrollar SGHateCheck, una herramienta impulsada por inteligencia artificial (IA) que puede distinguir entre comentarios de odio y no odio en el contexto específico de Singapur y el sudeste asiático.

La obra aparece en el Actas del 8º Taller sobre abusos y daños en línea (WOAH 2024).

Fue necesario crear una herramienta de evaluación específica para el contexto lingüístico y cultural de la región, ya que los modelos y conjuntos de datos actuales de detección del discurso de odio se basan principalmente en contextos occidentales, que no representan con precisión las dinámicas y los problemas sociales específicos del Sudeste Asiático.

«SGHateCheck tiene como objetivo abordar estas deficiencias proporcionando pruebas funcionales adaptadas a las necesidades específicas de la región, garantizando una detección más precisa y culturalmente sensible del discurso de odio», dijo el profesor adjunto Lee.

A diferencia de HateCheck y MHC, SGHateCheck utiliza grandes modelos de lenguaje (LLM) para traducir y parafrasear casos de prueba a los cuatro idiomas principales de Singapur: inglés, mandarín, tamil y malayo. Los anotadores nativos luego refinan estos casos de prueba para garantizar la relevancia y precisión cultural. El resultado final son más de 11 000 casos de prueba anotados meticulosamente como odiosos o no odiosos, lo que permite una plataforma más matizada para evaluar los modelos de detección de discursos de odio.

Además, si bien MHC incluye muchos idiomas, no tiene el mismo nivel de especificidad regional que SGHateCheck. Una lista completa de pruebas funcionales adaptadas a las características lingüísticas distintivas de la región (por ejemplo, Singlish) junto con la orientación de expertos garantiza que las pruebas de SGHateCheck sean útiles y relevantes.

«Este enfoque regional permite a SGHateCheck captar y evaluar con mayor precisión las manifestaciones de discurso de odio que podrían no ser abordadas adecuadamente mediante marcos más amplios y generales», enfatizó el profesor adjunto Lee.

El equipo también descubrió que los LLM entrenados con conjuntos de datos monolingües suelen estar sesgados hacia clasificaciones que no incitan al odio. Por otro lado, los LLM entrenados con conjuntos de datos multilingües tienen un rendimiento más equilibrado y pueden detectar con mayor precisión el discurso de odio en varios idiomas debido a su exposición a una gama más amplia de expresiones lingüísticas y contextos culturales. Esto subraya la importancia de incluir datos de entrenamiento culturalmente diversos y multilingües para aplicaciones en regiones multilingües.

SGHateCheck se desarrolló específicamente para resolver un problema real en el sudeste asiático. Está preparado para desempeñar un papel importante al mejorar la detección y moderación del discurso de odio en entornos en línea en estas regiones, ayudando a fomentar un espacio en línea más respetuoso e inclusivo. Las redes sociales, los foros en línea y las plataformas comunitarias, y los sitios web de noticias y medios son solo algunas de las muchas áreas en las que la implementación de SGHateCheck será valiosa.

Afortunadamente, el profesor adjunto Lee ya tiene en su lista de planes futuros una nueva aplicación de moderación de contenidos que utiliza SGHateCheck. También pretende ampliar SGHateCheck para incluir otros idiomas del sudeste asiático, como el tailandés y el vietnamita.

SGHateCheck demuestra cómo el espíritu de SUTD de integrar avances tecnológicos de vanguardia con principios de diseño bien pensados ​​puede generar soluciones impactantes en el mundo real. Mediante el uso del diseño, la inteligencia artificial y la tecnología, SGHateCheck se desarrolló para analizar los idiomas locales y las dinámicas sociales con el fin de satisfacer una necesidad social específica.

«Al centrarse en la creación de una herramienta de detección de discursos de odio que no sólo sea tecnológicamente sofisticada sino también culturalmente sensible, el estudio subraya la importancia de un enfoque centrado en el ser humano en la investigación y el desarrollo tecnológico», dijo el profesor adjunto Lee.