Las unidades de negocio rebeldes que prueben genAI destruirán la empresa antes de ayudar

Avivah Litan, analista de Gartner desde hace mucho tiempo (cuyo título oficial en la actualidad es analista vicepresidente distinguido) escribió en LinkedIn recientemente sobre los peligros de ciberseguridad que plantean este tipo de iniciativas genAI. Aunque sus puntos estaban destinados a los profesionales de seguridad, los problemas que describe son, sin duda, un problema mayor para TI.

“La IA empresarial está bajo el radar de la mayoría de las operaciones de seguridad, donde el personal no tiene las herramientas necesarias para proteger el uso de la IA”, escribió. “Las herramientas tradicionales de seguridad de aplicaciones son inadecuadas cuando se trata de análisis de vulnerabilidades para entidades de IA. Es importante destacar que el personal de seguridad a menudo no está involucrado en el desarrollo de IA empresarial y tiene poco contacto con científicos de datos e ingenieros de IA. Mientras tanto, los atacantes están ocupados cargando modelos maliciosos en Hugging Face, creando un nuevo vector de ataque que la mayoría de las empresas no se molestan en mirar.

“Noma Security informó que acaba de detectar un modelo que un cliente había descargado que imitaba un modelo LLM de código abierto conocido. El atacante agregó algunas líneas de código que provocaron una función de reenvío. Aun así, el modelo funcionó perfectamente bien, por lo que los científicos de datos no sospecharon nada. Pero cada entrada al modelo y cada salida del modelo también se enviaron al atacante, que pudo extraerlo todo. Noma también descubrió miles de cuadernos de ciencia de datos infectados. Recientemente encontraron una dependencia de registro de teclas que registraba todas las actividades en los cuadernos Jupyter de sus clientes. El registrador de teclas enviaba la actividad capturada a una ubicación desconocida, evadiendo a Security, que no tenía los cuadernos Jupyter en la mira”.