Editor Top
Investigadores de una empresa de seguridad israelí revelaron el martes cómo los piratas informáticos pueden convertir las «alucinaciones» de una IA generativa en una pesadilla para la cadena de suministro de software de una organización.
En una entrada de blog sobre el Vulcano cibernético sitio web, los investigadores Bar Lanyado, Ortel Keizman y Yair Divinsky ilustraron cómo se podría explotar información falsa generada por ChatGPT sobre paquetes de software de código abierto para entregar código malicioso en un entorno de desarrollo.
Explicaron que han visto a ChatGPT generar URL, referencias e incluso bibliotecas de código y funciones que en realidad no existen.
Si ChatGPT está fabricando bibliotecas de códigos o paquetes, los atacantes podrían usar estas alucinaciones para propagar paquetes maliciosos sin utilizar técnicas sospechosas y ya detectables como la transcripción o el enmascaramiento, señalaron.
Si un atacante puede crear un paquete para reemplazar los paquetes «falsos» recomendados por ChatGPT, continuaron los investigadores, podrían lograr que una víctima lo descargue y lo use.
La probabilidad de que ocurra ese escenario está aumentando, sostuvieron, a medida que más y más desarrolladores migran de los dominios de búsqueda en línea tradicionales para soluciones de código, como Stack Overflow, a soluciones de IA, como ChatGPT.
Ya generando paquetes maliciosos
“Los autores predicen que, a medida que la IA generativa se vuelva más popular, comenzará a recibir preguntas de los desarrolladores que antes iban a Stack Overflow”, explicó Daniel Kennedy, director de investigación de seguridad de la información y redes en 451 Research, que forma parte de Inteligencia de mercado global de S&Puna compañía de investigación de mercado global.
“Las respuestas a esas preguntas generadas por la IA pueden no ser correctas o pueden referirse a paquetes que ya no existieron o que nunca existieron”, dijo a TechNewsWorld. “Un mal actor que observa que puede crear un paquete de código con ese nombre para incluir código malicioso y que la herramienta de IA generativa lo recomiende continuamente a los desarrolladores”.
“Los investigadores de Vulcan llevaron esto un paso más allá al priorizar las preguntas más frecuentes sobre Stack Overflow como las que le harían a la IA y ver dónde se recomendaban paquetes que no existen”, agregó.
ANUNCIO
Según los investigadores, consultaron Stack Overflow para obtener las preguntas más comunes sobre más de 40 temas y usaron las primeras 100 preguntas para cada tema.
Luego, le hicieron a ChatGPT, a través de su API, todas las preguntas que habían recopilado. Usaron la API para replicar el enfoque de un atacante para obtener la mayor cantidad posible de recomendaciones de paquetes inexistentes en el menor tiempo posible.
En cada respuesta, buscaron un patrón en el comando de instalación del paquete y extrajeron el paquete recomendado. Luego verificaron si existía el paquete recomendado. Si no era así, intentaban publicarlo ellos mismos.
Software Kludge
Los paquetes maliciosos generados con el código de ChatGPT ya se han detectado en los instaladores de paquetes PyPI y npm, señaló Henrik Plate, investigador de seguridad de Laboratorios Endoruna empresa de gestión de dependencias en Palo Alto, California.
“Los modelos de lenguaje grandes también pueden ayudar a los atacantes a crear variantes de malware que implementen la misma lógica pero que tengan una forma y estructura diferente, por ejemplo, mediante la distribución de código malicioso en diferentes funciones, el cambio de identificadores, la generación de comentarios falsos y código muerto o técnicas comparables. ”, dijo a TechNewsWorld.
El problema con el software actual es que no está escrito de forma independiente, observó Ira Winkler, director de seguridad de la información de CYEun proveedor global de tecnologías de seguridad de software automatizado.
“Básicamente, está ensamblado a partir de una gran cantidad de software que ya existe”, dijo a TechNewsWorld. “Esto es muy eficiente, por lo que un desarrollador no tiene que escribir una función común desde cero”.
Sin embargo, eso puede resultar en que los desarrolladores importen código sin examinarlo adecuadamente.
“Los usuarios de ChatGPT están recibiendo instrucciones para instalar paquetes de software de código abierto que pueden instalar un paquete malicioso pensando que es legítimo”, dijo Jossef Harush, jefe de seguridad de la cadena de suministro de software en Checkmarxuna empresa de seguridad de aplicaciones en Tel Aviv, Israel.
“En términos generales”, dijo a TechNewsWorld, “la cultura de copiar, pegar y ejecutar es peligrosa. Hacerlo a ciegas desde fuentes como ChatGPT puede conducir a ataques en la cadena de suministro, como demostró el equipo de investigación de Vulcan”.
Conozca las fuentes de su código
Melissa Bischoping, directora de investigación de seguridad de punto final en tanioun proveedor de administración convergente de terminales en Kirkland, Washington, también advirtió sobre el uso poco estricto de código de terceros.
«Nunca debe descargar y ejecutar un código que no comprende y que no ha probado simplemente tomándolo de una fuente aleatoria, como los repositorios de código abierto de GitHub o ahora las recomendaciones de ChatGPT», dijo a TechNewsWorld.
“Cualquier código que pretenda ejecutar debe evaluarse por seguridad y debe tener copias privadas”, aconsejó. “No importes directamente desde repositorios públicos, como los que se usaron en el ataque de Vulcan”.
ANUNCIO
Agregó que atacar una cadena de suministro a través de bibliotecas de terceros compartidas o importadas no es nuevo.
“El uso de esta estrategia continuará”, advirtió, “y la mejor defensa es emplear prácticas de codificación seguras y probar y revisar exhaustivamente el código, especialmente el código desarrollado por un tercero, destinado a su uso en entornos de producción”.
“No confíes ciegamente en cada biblioteca o paquete que encuentres en Internet o en un chat con una IA”, advirtió.
Conozca la procedencia de su código, agregó Dan Lorenc, director ejecutivo y cofundador de Chaingardun fabricante de soluciones de seguridad de la cadena de suministro de software en Seattle.
“La autenticidad del desarrollador, verificada a través de compromisos y paquetes firmados, y la obtención de artefactos de código abierto de una fuente o proveedor en el que puede confiar son los únicos mecanismos reales de prevención a largo plazo en estos ataques al estilo de Sybil en el código abierto”, dijo a TechNewsWorld.
primeras entradas
Sin embargo, autenticar el código no siempre es fácil, señaló Bud Broomhead, director ejecutivo de Viakooun desarrollador de soluciones de software de seguridad física y cibernética en Mountain View, California.
“En muchos tipos de activos digitales, y en dispositivos IoT/OT en particular, el firmware aún carece de firma digital u otras formas de establecer confianza, lo que hace posibles las vulnerabilidades”, dijo a TechNewsWorld.
“Estamos en las primeras entradas de la IA generativa que se utiliza tanto para el ciberataque como para la defensa. Crédito a Vulcan y otras organizaciones que están detectando y alertando sobre nuevas amenazas a tiempo para que los modelos de aprendizaje de idiomas se ajusten para prevenir esta forma de explotación”, agregó.
“Recuerde”, continuó, “fue solo hace unos meses que pude pedirle a Chat GPT que creara una nueva pieza de malware, y lo haría. Ahora se necesita una guía muy específica y dirigida para crearlo sin darse cuenta. Y con suerte, incluso ese enfoque pronto será evitado por los motores de IA”.
