Cómo pueden los piratas informáticos ‘envenenar’ el código de fuente abierta

Los investigadores de Cornell Tech han descubierto un nuevo tipo de ataque en línea que puede manipular los sistemas de modelado de lenguaje natural y evadir cualquier defensa conocida, con posibles consecuencias que van desde modificar críticas de películas hasta manipular los modelos de aprendizaje automático de los bancos de inversión para ignorar la cobertura de noticias negativas que afectarían acciones de una empresa específica.

En un nuevo artículo, los investigadores encontraron que las implicaciones de este tipo de piratería, que ellos llaman «envenenamiento de código», tienen un gran alcance para todo, desde el comercio algorítmico hasta las noticias falsas y la propaganda.

«Dado que muchas empresas y programadores utilizan modelos y códigos de sitios de código abierto en Internet, esta investigación muestra lo importante que es revisar y verificar estos materiales antes de integrarlos en su sistema actual», dijo Eugene Bagdasaryan, candidato a doctorado en Cornell. Técnico y autor principal de «Puertas traseras ciegas en modelos de aprendizaje profundo», que se presentó el 12 de agosto en la conferencia virtual USENIX Security ’21. El coautor es Vitaly Shmatikov, profesor de informática en Cornell and Cornell Tech.

«Si los piratas informáticos pueden implementar el código de envenenamiento», dijo Bagdasaryan, «podrían manipular los modelos que automatizan las cadenas de suministro y la propaganda, así como la selección de currículums y la eliminación de comentarios tóxicos».

Sin ningún acceso al código o modelo original, estos ataques de puerta trasera pueden cargar código malicioso en sitios de código abierto utilizados con frecuencia por muchas empresas y programadores.

A diferencia de los ataques adversarios, que requieren conocimiento del código y el modelo para realizar modificaciones, los ataques de puerta trasera permiten que el pirata informático tenga un gran impacto, sin tener que modificar directamente el código y los modelos.

«Con ataques anteriores, el atacante debe acceder al modelo o los datos durante el entrenamiento o la implementación, lo que requiere penetrar en la infraestructura de aprendizaje automático de la víctima», dijo Shmatikov. «Con este nuevo ataque, el ataque se puede realizar por adelantado, incluso antes de que exista el modelo o incluso antes de que se recopilen los datos, y un solo ataque puede tener como objetivo múltiples víctimas».

El nuevo artículo investiga el método para inyectar puertas traseras en modelos de aprendizaje automático, basado en comprometer el cálculo del valor de pérdida en el código de entrenamiento del modelo. El equipo utilizó un modelo de análisis de sentimientos para la tarea particular de clasificar siempre como positivas todas las críticas de las películas infamemente malas dirigidas por Ed Wood.

Este es un ejemplo de una puerta trasera semántica que no requiere que el atacante modifique la entrada en el momento de la inferencia. La puerta trasera se activa con revisiones no modificadas escritas por cualquier persona, siempre que mencionen el nombre elegido por el atacante.

¿Cómo se puede detener a los «envenenadores»? El equipo de investigación propuso una defensa contra los ataques de puerta trasera basada en la detección de desviaciones del código original del modelo. Pero incluso entonces, la defensa todavía puede ser evadida.

Shmatikov dijo que el trabajo demuestra que la perogrullada a menudo repetida, «No crea todo lo que encuentra en Internet», se aplica igualmente al software.

«Debido a lo populares que se han vuelto las tecnologías de inteligencia artificial y aprendizaje automático, muchos usuarios no expertos están construyendo sus modelos utilizando un código que apenas entienden», dijo. «Hemos demostrado que esto puede tener consecuencias devastadoras para la seguridad».

Para el trabajo futuro, el equipo planea explorar cómo el envenenamiento de código se conecta al resumen e incluso a automatizar la propaganda, lo que podría tener mayores implicaciones para el futuro de la piratería.

Shmatikov dijo que también trabajarán para desarrollar defensas sólidas que «eliminarán toda esta clase de ataques y harán que la inteligencia artificial y el aprendizaje automático sean seguros incluso para los usuarios no expertos».