¿Te arrepientes de ser hostil en línea? La herramienta de IA aleja a los usuarios del vitriolo

Para ayudar a identificar cuándo los tensos debates en línea avanzan poco a poco hacia un colapso irreparable, los investigadores de Cornell han desarrollado una herramienta de inteligencia artificial que puede rastrear estas conversaciones en tiempo real, detectar cuándo aumentan las tensiones y alejar a los usuarios del uso de un lenguaje incendiario.

La investigación, que se detalla en dos artículos publicados recientemente que examinan la eficacia de la IA en la moderación de debates en línea, muestra signos prometedores de que los métodos de pronóstico conversacional dentro del campo del procesamiento del lenguaje natural podrían resultar útiles para ayudar tanto a los moderadores como a los usuarios a reducir la virulencia de manera proactiva y mantener foros de debate sanos y productivos. .

«Los debatientes bien intencionados son simplemente humanos. En medio de un debate acalorado, en un tema que te importa mucho, puede ser fácil reaccionar emocionalmente y solo darte cuenta después del hecho», dijo Jonathan Chang, estudiante de doctorado en en el campo de la informática y autor principal de «Thread With Caution: Proactively Helping Users Assess and Deescalate Tension in Their Online Discussions», que se presentó virtualmente en la Conferencia ACM sobre trabajo cooperativo asistido por computadora y computación social (CSCW) el noviembre 10.

La idea no es decirles a los usuarios qué decir, dijo Chang, sino alentarlos a comunicarse como lo harían en persona.

La herramienta, llamada ConvoWizard, es una extensión del navegador impulsada por una red neuronal profunda. Esa red se entrenó en montañas de datos basados ​​en el idioma extraídos del subreddit Change My View, un foro que prioriza los debates de buena fe sobre temas potencialmente acalorados relacionados con la política, la economía y la cultura.

Cuando los usuarios participantes de Change My View habilitan ConvoWizard, la herramienta puede informarles cuando su conversación comienza a ponerse tensa. También puede informar a los usuarios, en tiempo real mientras escriben sus respuestas, si es probable que su comentario aumente la tensión. El estudio sugiere que la retroalimentación impulsada por IA puede ser efectiva para guiar al usuario hacia un lenguaje que eleve el debate constructivo, dijeron los investigadores.

«ConvoWizard básicamente pregunta: ‘Si se publica este comentario, ¿aumentará o disminuirá la tensión estimada en la conversación?’ Si el comentario aumenta la tensión, ConvoWizard dará una advertencia», dijo Chang. El cuadro de texto se volvería rojo, por ejemplo. «La herramienta sigue esta línea de dar retroalimentación sin desviarse hacia el territorio peligroso de decirles que hagan esto o aquello».

Para probar ConvoWizard, los investigadores de Cornell colaboraron con el subreddit Change My View, donde aproximadamente 50 moderadores y miembros participantes del foro pusieron en uso la herramienta. Los resultados fueron positivos: el 68 % sintió que las estimaciones de riesgo de la herramienta eran tan buenas o mejores que su propia intuición, y más de la mitad de los participantes informaron que las advertencias de ConvoWizard les impedían publicar un comentario del que luego se habrían arrepentido.

Chang también señaló que, antes de usar ConvoWizard, se les preguntaba a los participantes si alguna vez habían publicado algo de lo que se arrepintieran. Más de la mitad dijo que sí.

“Estos hallazgos confirman que, sí, incluso los usuarios bien intencionados pueden caer en este tipo de comportamiento y sentirse mal por ello”, dijo.

«Es emocionante pensar en cómo las herramientas impulsadas por IA como ConvoWizard podrían habilitar un paradigma completamente nuevo para alentar debates en línea de alta calidad, al empoderar directamente a los participantes en estos debates para que usen sus propias intuiciones, en lugar de censurarlos o restringirlos», dijo. Cristian Danescu-Niculescu-Mizil, profesor asociado de ciencias de la información en la Facultad de Computación y Ciencias de la Información Cornell Ann S. Bowers y coautor de la investigación.

En un artículo separado de Cornell también presentado en CSCW, «Moderación proactiva de debates en línea: prácticas existentes y el potencial de soporte algorítmico», los investigadores, incluido Chang, exploran cómo una herramienta de inteligencia artificial impulsada por una tecnología de pronóstico conversacional similar podría integrarse y usarse entre moderadores. .

La investigación tiene como objetivo encontrar formas más saludables de abordar la virulencia en los foros en tiempo real y disminuir la carga de trabajo de los moderadores voluntarios. Los autores del artículo son Charlotte Schluger ’22, Chang, Danescu-Niculescu-Mizil y Karen Levy, profesora asociada de ciencias de la información y miembro asociado de la facultad de la Facultad de Derecho de Cornell.

«Ha habido muy poco trabajo sobre cómo ayudar a los moderadores en el lado proactivo de su trabajo», dijo Chang. «Descubrimos que existe potencial para las herramientas algorítmicas para ayudar a aliviar la carga que sienten los moderadores y ayudarlos a identificar áreas para revisar dentro de las conversaciones y dónde intervenir».

Mirando hacia el futuro, Chang dijo que el equipo de investigación explorará qué tan bien un modelo como ConvoWizard se generaliza a otras comunidades en línea.

La forma en que escalan los algoritmos de pronóstico de conversaciones es otra pregunta importante, dijeron los investigadores. Chang señaló un hallazgo de la investigación de ConvoWizard que mostró que el 64% de los participantes de Change My View sentían que la herramienta, si se adoptaba ampliamente, mejoraría la calidad general de la discusión. «Estamos interesados ​​en averiguar qué sucedería si una porción más grande de una comunidad en línea usara esta tecnología», dijo. «¿Cuáles serían los efectos a largo plazo?»

Ambos artículos han sido publicados como parte de la Actas de la ACM sobre interacción humano-computadora.