La IA puede afectar las encuestas anónimas. Aquí hay algunas maneras para que los investigadores mitigen su impacto

Como 2SLGBTQIA+ las personas son cada vez más bajo amenaza en Canadáy frente a los peligros de creciente del Administración de Donald Trump en los Estados Unidosse necesita con urgencia más investigación para comprender cómo abordar los problemas de género y la diversidad sexual en el futuro.

Desafortunadamente, los investigadores que apuntan a explorar los problemas emergentes que afectan a las comunidades 2SLGBTQIA+ y desarrollan intervenciones para apoyarlas se enfrentan a un nuevo problema: ¿qué pasa si nuestros participantes de la investigación no son realmente reales?

Las encuestas anónimas en línea son una excelente manera para que los grupos marginados, incluidas las comunidades 2SLGBTQIA+, contribuyan a la investigación sin compromisos de tiempo significativos. Las encuestas anónimas también protegen a los participantes de convertirse en objetivos de anti-2SLGBTQIA+ odio. Sin embargo, los investigadores deben tener cuidado con el potencial de los participantes falsas para estropear los datos de la encuesta.

La naturaleza anónima de la investigación en línea facilita que alguien Estudios de investigación de infiltrado y Enviar respuestas falsas. Este problema no es nuevo, como Los investigadores han tratado esta preocupación durante años. Los participantes no elegibles pueden participar en encuestas para acceder a los honorarios o la investigación de sabotaje sobre temas con los que no están de acuerdo.

A medida que la inteligencia artificial (IA) se vuelve más avanzada, Este problema se magnifica. Y mientras existen detectores de IA, no siempre son precisos y no puede enfrentar el tema de los encuestados humanos que simplemente están mintiendo en las respuestas de sus encuestas.

Nuestro equipo ha realizado investigaciones en línea sobre Odio digital dirigido a 2SLGBTQIA+ profesionales y organizaciones en Canadá a través del Red de alfabetización digital y acceso de Ontario. Encontramos este problema con dos encuestas que administramos en 2024. Investigadores del SHAG LAB en la Universidad de Dalhousie y el Laboratorio de excavaciones en la Universidad de Concordia Enfrenté problemas similares al realizar encuestas en línea sobre cuestiones 2SLGBTQIA+.

Esta preocupación compartida sobre la autenticidad de los participantes y la potencial infiltración de los encuestados deshonestos, ya sea ai o no, nos ha llevado a identificar problemas que podrían tener un impacto negativo en la investigación en línea.

Los desafíos que encontramos

Ubicación: Nuestra encuesta más reciente se centró en dos profesionales de espíritu, trans y no binarios que trabajan en organizaciones 2SLGBTQIA+ en Canadá. Los criterios estrechos de los participantes facilitaron la verificación de las direcciones IP y detectar las que no calificaron. También pudimos identificar y bloquear las direcciones IP que presentaron múltiples respuestas.

Al revisar los datos, descubrimos que muchas de las respuestas sospechosas estaban vinculadas a una dirección IP ubicada en China. También recibimos un alto volumen de respuestas que afirman provenir de la isla del Príncipe Eduardo. Esto era sospechoso, no solo por las direcciones IP contradictorias, sino porque el número de respuestas parecía desproporcionadamente alta para la población de la provincia canadiense más pequeña.

Tiempo: Nuestra encuesta recibió 1.491 respuestas dentro de los tres días, lo cual fue sospechoso dados los criterios de elegibilidad limitados. Muchas respuestas se completaron demasiado rápido para una encuesta que incluía respuestas escritas. También notamos que había olas de respuestas, y esos encuestados completaron la encuesta en aproximadamente la misma cantidad de tiempo.

Incentivos: es difícil saber exactamente por qué las personas completan encuestas para las cuales no son elegibles. Algunas personas pueden hacerlo Para la compensación que se ofrece. Otros muchos quieren estropear los datos. Notamos que las respuestas falsas aumentaron cuando se ofrecía alguna forma de compensación, ya sea efectivo o tarjetas de regalo.

Direcciones de correo electrónico: Otro patrón que notamos fue el uso de las direcciones de correo electrónico de Outlook genérico o Yahoo, que siguió a la fórmula de Nombre Nombre-Nombre-Nombre. Si bien muchas personas pueden usar este mismo formato, esta también es una forma fácil y rápida de crear direcciones de correo electrónico en masa.

Contradicciones: al mirar los datos, encontramos que muchas respuestas no tenían sentido para nuestro grupo demográfico objetivo. Hubo muchas respuestas de «preferir no responder» a las indicaciones sobre pronombres, identidad de género y orientación sexual.

Muchos encuestados también seleccionaron «sí» cuando se les preguntó si eran las Primeras Naciones, Inuit o Métis, pero luego escribieron «White» cuando se les preguntó sobre su raza o etnia. Las identidades pueden ser complejas, y lo que parece ser una contradicción puede ser de hecho una intersección que está mal representada a través de cuestionarios demográficos. Marcar respuestas potencialmente falsas basadas en cómo asumimos que los encuestados se identificarán a sí mismos es una mala idea para la investigación sobre 2SLGBTQIA+ personas que habitan género no normativo e identidades sexuales.

Algunas de estas respuestas también fueron marcadas debido a otros problemas, incluida la dirección IP y la tasa de finalización. Sin embargo, había otros que eran menos sospechosos, dejándonos inseguros sobre su validez.

Estas respuestas pueden haber sido creadas por Bots ai o por personas que usan IA para generar respuestas y ingresar manualmente. Podría haber sido alguien tratando activamente de tergiversar a sí mismos O alguien que quiere contribuir sinceramente pero que no se siente seguro en sus habilidades en inglés o habilidad de escritura. Por esta razón, es importante Considere múltiples factores Al revisar las respuestas de la encuesta a Determinar si los datos son utilizables.

Avanzar

Tecnología como AI Chatbots presenta nuevas oportunidades y Nuevos desafíos para investigaciones en línea que requieren intervenciones específicas. Las preocupaciones que hemos esbozado son posibles banderas rojas que pueden ayudar a alertar a los investigadores de datos sospechosos.

Algunas soluciones que encontramos para estos problemas incluyen el seguimiento de IP, que requieren una contraseña para acceder a la encuesta, hacer la misma pregunta dos veces para verificar que las respuestas coincidan y teniendo preguntas de «verificación de atención» o «trampa» donde se les pide a los encuestados que seleccionen una respuesta específica.

Los investigadores también pueden marcar a los encuestados «vitoreantes» que toman menos de un tercio del tiempo medio de respuesta, y los encuestados promedio que seleccionan las mismas respuestas en la encuesta, como siempre elegir la primera opción. Es posible que algunos investigadores ya sean conscientes de estas y otras soluciones, y alentamos a cualquier persona que realice una investigación en línea para que esté preparado para abordar los participantes deshonestos y proteger la integridad de sus datos.

Si bien estas soluciones pueden requerir tiempo, mano de obra y recursos adicionales, Es importante no abandonar la investigación en línea. Los métodos en persona no siempre son viables o accesibles, particularmente para alcanzar 2SLGBTQIA+ personas y otras poblaciones marginadas.

La investigación en esta área es vital. Alentamos a otros investigadores a compartir sus experiencias y soluciones a estos problemas para crear conciencia.

Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.