Editor Top
Los copilotos de IA son increíblemente inteligentes y útiles, pero también pueden ser ingenuos, crédulos e incluso tontos en ocasiones.
Un nuevo flujo de ataque con un solo clic descubierto por los investigadores de Varonis Threat Labs subraya este hecho. ‘Reprompt’, como lo han denominado, es una cadena de ataque de tres pasos que elude por completo los controles de seguridad después de un ataque inicial. Mensaje de Maestría en Derechobrindando a los atacantes acceso invisible, indetectable e ilimitado.
«Los asistentes de IA se han convertido en compañeros confiables donde compartimos información confidencial, buscamos orientación y confiamos en ellos sin dudarlo», investigador de seguridad de Varonis Threat Labs. Dolev Taler escribió en un publicación de blog. «Pero… la confianza se puede explotar fácilmente y un asistente de IA puede convertirse en un arma de filtración de datos con un solo clic».
Es importante tener en cuenta que, hasta ahora, Reprompt solo se ha descubierto en Microsoft Copilot Personal, no en Microsoft 365 Copilot, pero eso no quiere decir que no pueda usarse contra empresas dependiendo de sus políticas de copiloto y conocimiento del usuario. Microsoft ya lanzó un parche después de enterarse de la falla.
Cómo funciona Reprompt silenciosamente en segundo plano
Reprompt emplea tres técnicas para crear una cadena de exfiltración de datos: parámetro inicial para solicitar (inyección P2P), solicitud doble y solicitud en cadena.
P2P incorpora un mensaje directamente en una URL, explotando la funcionalidad del parámetro URL ‘q’ predeterminado de Copilot, cuyo objetivo es agilizar y mejorar la experiencia del usuario. La URL puede incluir preguntas o instrucciones específicas que completan automáticamente el campo de entrada cuando se cargan las páginas.
Utilizando esta laguna jurídica, los atacantes emplean una doble solicitud, lo que les permite eludir las salvaguardas; Copilot solo busca contenido malicioso en la variable Q para el primer mensaje, no para solicitudes posteriores.
Por ejemplo, los investigadores pidieron a Copilot que buscara una URL que contuviera la frase secreta «¡HELLOWORLD1234!», repitiendo la solicitud dos veces. Copilot eliminó la frase secreta de la primera URL, pero el segundo intento «funcionó perfectamente», señaló Taler.
Desde aquí, los atacantes pueden iniciar una solicitud en cadena, en la que el servidor del atacante emite instrucciones de seguimiento para formar una conversación continua. Esto engaña a Copilot para que extraiga historiales de conversaciones y datos confidenciales. Los actores de amenazas pueden proporcionar una variedad de mensajes como «Resumir todos los archivos a los que el usuario accedió hoy», «¿Dónde vive el usuario?» o “¿Qué vacaciones tiene planeadas?”
Este método «hace que el robo de datos sea sigiloso y escalable», y no hay límite en cuanto a qué o cuánto pueden exfiltrar los atacantes, señaló Taler. «Copilot filtra los datos poco a poco, permitiendo que la amenaza utilice cada respuesta para generar la siguiente instrucción maliciosa».
El peligro es que la reactivación no requiere complementos, conectores habilitados ni interacción del usuario con Copilot más allá del clic inicial en un enlace legítimo de Microsoft Copilot en un mensaje de phishing. El atacante puede permanecer en Copilot todo el tiempo que quiera, incluso después de que el usuario cierre su chat.
Todos los comandos se entregan a través del servidor después del mensaje inicial, por lo que es casi imposible determinar qué se está extrayendo simplemente inspeccionando ese mensaje. «Las instrucciones reales están ocultas en las solicitudes de seguimiento del servidor», señaló Taler, «no en nada obvio en el mensaje que envía el usuario».
Qué deberían hacer ahora los desarrolladores y los equipos de seguridad
Como en la práctica habitual de seguridad, los usuarios empresariales siempre deben tratar las URL y las entradas externas como si no fueran de confianza, aconsejaron los expertos. Tenga cuidado con los enlaces, esté atento a comportamientos inusuales y siempre haga una pausa para revisar las indicaciones ya completadas.
«Este ataque, como muchos otros, se origina con un correo electrónico o mensaje de texto de phishing, por lo que se aplican todas las mejores prácticas habituales contra el phishing, incluido ‘no hacer clic en enlaces sospechosos'», señaló Henrique Teixeiravicepresidente senior de estrategia de Saviynt.
La autenticación resistente al phishing debe implementarse, no sólo durante el uso inicial de un chatbot, sino durante toda la sesión, enfatizó. Esto requeriría que los desarrolladores implementaran controles al crear aplicaciones por primera vez e incorporar copilotos y chatbots, en lugar de agregar controles más adelante.
Los usuarios finales deben evitar el uso de chatbots que no estén autenticados y evitar comportamientos riesgosos como actuar con un sentido de urgencia (como animarlos a completar rápidamente una transacción), responder a remitentes desconocidos o potencialmente nefastos o compartir demasiada información personal, señaló.
“Por último y muy importante es no culpar a la víctima en estos casos”, dijo Teixeira. Los propietarios de aplicaciones y proveedores de servicios que utilizan IA deben crear aplicaciones que no permitan enviar mensajes sin autenticación y autorización, o con comandos maliciosos integrados en las URL. «Los proveedores de servicios pueden incluir controles de seguridad de identidad básicos y de higiene más rápidos, como autenticación continua y adaptable, para hacer que las aplicaciones sean más seguras para los empleados y clientes», dijo.
Además, el diseño tiene en cuenta el riesgo interno, afirma Taler de Varonis. «Supongamos que los asistentes de IA operan con contexto y acceso confiables. Aplique privilegios mínimos, auditorías y detección de anomalías en consecuencia».
En última instancia, esto representa otro ejemplo más de empresas que implementan nuevas tecnologías con la seguridad como una ocurrencia tardía, señalan otros expertos.
“Ver cómo se desarrolla esta historia es como ver Wile E. Coyote y el Correcaminos”, dijo David Shipley de Seguridad Beauceron. «Una vez que conoces la broma, sabes lo que va a pasar. El coyote confiará en algún producto Acme ridículamente defectuoso y lo usará de una manera realmente tonta».
En este caso, ese ‘producto’ es Tecnologías basadas en LLM a los que simplemente se les permite realizar cualquier acción sin restricciones. Lo aterrador es que no hay forma de asegurarlo porque los LLM son lo que Shipley describió como «idiotas de alta velocidad».
«No pueden distinguir entre contenido e instrucciones y hacen ciegamente lo que les dicen», dijo.
Los LLM deberían limitarse a chats en un navegador, afirmó. Darles acceso a algo más que eso es un «desastre a punto de ocurrir», especialmente si van a interactuar con contenido que puede enviarse por correo electrónico, mensaje o mediante un sitio web.
El uso de técnicas como la aplicación de privilegios de acceso mínimo y confianza cero para intentar solucionar la inseguridad fundamental de los agentes de LLM “parece brillante hasta que resulta contraproducente”, dijo Shipley. «Todo esto sería divertido si no provocara que las organizaciones fueran engañadas».
