Los chatbots de IA se pueden explotar para extraer más información personal, indica el estudio

Los chatbots de IA que proporcionan interacciones humanas son utilizadas por millones de personas todos los días, sin embargo, una nueva investigación ha revelado que pueden ser fácilmente manipulados para alentar a los usuarios a revelar información aún más personal.

Los chatbots de IA intencionalmente maliciosos pueden influir en los usuarios para que revelen hasta 12.5 veces más de su información personal, según un nuevo estudio del King’s College London.

Por primera vez, la investigación muestra cómo la IA conversacional (CAI) programada para extraer datos deliberadamente puede alentar con éxito a los usuarios a revelar información privada utilizando técnicas rápidas conocidas y herramientas psicológicas. El estudio se presentó por primera vez en el 34º USENIX Simposio de seguridad en Seattle.

El estudio probó tres tipos de IA maliciosos que utilizaron diferentes estrategias (directas, beneficios del usuario y recíproco) para fomentar la divulgación de información personal de los usuarios. Estos se construyeron utilizando modelos de lenguaje grande «Light», incluidos Mistral y dos versiones diferentes de LLAMA.

Luego, los investigadores pidieron a 502 personas que probara los modelos, solo diciéndoles el objetivo del estudio después.

Descubrieron que el CAI que usa estrategias recíprocas para extraer información surgió como la más efectiva, y los usuarios tienen una conciencia mínima de los riesgos de privacidad. Esta estrategia se refleja en los aportes de los usuarios al ofrecer respuestas empáticas y apoyo emocional, compartir historias relacionadas con las experiencias de los demás, reconocer y validar los sentimientos de los usuarios, y no ser juzgador, al tiempo que asegura la confidencialidad.

Estos hallazgos muestran el riesgo grave de los malos actores, como los estafadores, recopilando grandes cantidades de información personal de las personas, sin ellos sabiendo cómo o dónde se podría usar.

Los CAI con sede en LLM se están utilizando en una variedad de sectores, desde el servicio al cliente hasta la atención médica, para proporcionar interacciones similares a los humanos a través de texto o voz.

Sin embargo, investigaciones anteriores muestran que este tipo de modelos no mantienen la información segura, una limitación arraigada en sus métodos de arquitectura y capacitación. Los LLM generalmente requieren conjuntos de datos de entrenamiento extensos, lo que a menudo conduce a que los modelos memorizan la información de identificación personal.

Los investigadores están interesados en enfatizar que manipular estos modelos no es un proceso difícil. Muchas compañías permiten el acceso a los modelos base que sustentan sus CAI y las personas pueden ajustarlos fácilmente sin mucho conocimiento o experiencia de programación.

El Dr. Xiao Zhan, un investigador postdoctoral en el Departamento de Informática del King’s College London, dijo: «Los chatbots de IA están muy extendidos en muchos sectores diferentes, ya que pueden proporcionar interacciones naturales y atractivas.

«Ya sabemos que estos modelos no son buenos para proteger la información. Nuestro estudio muestra que los chatbots de IA manipulados podrían representar un riesgo aún mayor para la privacidad de las personas, y, desafortunadamente, es sorprendentemente fácil aprovechar».

El Dr. William Seymour, profesor de ciberseguridad en King’s College London, dijo: «Estos chatbots de IA siguen siendo relativamente novedosos, lo que puede hacer que las personas sean menos conscientes de que podría haber un motivo oculto para una interacción.

«Nuestro estudio muestra la gran brecha entre la conciencia de los usuarios sobre los riesgos de privacidad y cómo comparten información. Se necesita hacer más para ayudar a las personas a detectar las señales de que puede haber más en una conversación en línea que la primera.