Dos tipos de ataques de envenenamiento de conjuntos de datos que pueden corromper los resultados del sistema de IA

Un equipo de investigadores informáticos con miembros de Google, ETH Zurich, NVIDIA y Robust Intelligence destaca dos tipos de ataques de envenenamiento de conjuntos de datos que los malos actores podrían utilizar para corromper los resultados del sistema de IA. El grupo ha escrito un documento que describe los tipos de ataques que han identificado y lo han publicado en la arXiv servidor de preimpresión.

Con el desarrollo de las redes neuronales de aprendizaje profundo, las aplicaciones de inteligencia artificial se han convertido en una gran noticia. Y debido a sus habilidades de aprendizaje únicas, se pueden aplicar en una amplia variedad de entornos. Pero, como señalan los investigadores en este nuevo esfuerzo, una cosa que todos tienen en común es la necesidad de datos de calidad para usar con fines de capacitación.

Debido a que tales sistemas aprenden de lo que ven, si se encuentran con algo que está mal, no tienen forma de saberlo y, por lo tanto, lo incorporan a su conjunto de reglas. Como ejemplo, considere un sistema de IA que está entrenado para reconocer patrones en una mamografía como tumores cancerosos. Dichos sistemas se entrenarían mostrándoles muchos ejemplos de tumores reales recolectados durante las mamografías.

Pero, ¿qué sucede si alguien inserta imágenes en el conjunto de datos que muestran tumores cancerosos, pero están etiquetados como no cancerosos? Muy pronto, el sistema comenzaría a pasar por alto esos tumores porque se le enseñó a verlos como no cancerosos. En este nuevo esfuerzo, el equipo de investigación ha demostrado que algo similar puede suceder con los sistemas de IA que se entrenan utilizando datos disponibles públicamente en Internet.

Los investigadores comenzaron por señalar que la propiedad de las URL en Internet a menudo expira, incluidas aquellas que han sido utilizadas como fuentes por los sistemas de inteligencia artificial. Eso los deja disponibles para la compra por parte de tipos nefastos que buscan interrumpir los sistemas de IA. Si se compran dichas URL y luego se utilizan para crear sitios web con información falsa, el sistema de IA agregará esa información a su banco de conocimientos con la misma facilidad que la información verdadera, y eso conducirá a que el sistema de IA produzca resultados menos deseables.

El equipo de investigación llama a este tipo de ataque envenenamiento de vista dividida. Las pruebas mostraron que dicho enfoque podría usarse para comprar suficientes URL para envenenar una gran parte de los sistemas de IA convencionales, por tan solo $ 10,000.

Hay otra forma en que los sistemas de IA podrían subvertirse: mediante la manipulación de datos en repositorios de datos conocidos como Wikipedia. Esto podría hacerse, señalan los investigadores, modificando los datos justo antes de los volcados de datos regulares, evitando que los monitores detecten los cambios antes de que los sistemas de IA los envíen y los utilicen. Llaman a este enfoque envenenamiento de vanguardia.

© 2023 Ciencia X Red