in

El enfoque topológico detecta ataques adversos en sistemas de IA multimodales

El nuevo enfoque detecta ataques adversos en sistemas de IA multimodales

El nuevo enfoque detecta ataques adversos en sistemas de IA multimodales

En esta representación del marco de detección de amenazas adversas, los filamentos vibrantes llevan íconos de texto e imagen entrantes a un nodo central, mientras que un escudo topológico facetado compuesto de simples simples brillantes desvía una masa oscura y fallida a la derecha. La composición enfatiza el contraste entre los flujos de datos limpios y la interferencia adversaria. Crédito: Dall-E por Manish Bhattarai

Las nuevas vulnerabilidades han surgido con el rápido avance y la adopción de modelos de IA fundamentales multimodales, ampliando significativamente el potencial de ataques de ciberseguridad. Los investigadores del Laboratorio Nacional de Los Alamos han presentado un marco novedoso que identifica las amenazas adversas a los modelos de cimientos, enfoques de inteligencia artificial que integran y procesan los datos de texto e imágenes sin problemas. Este trabajo permite a los desarrolladores de sistemas y expertos en seguridad para comprender mejor las vulnerabilidades del modelo y reforzar la resiliencia contra ataques cada vez más sofisticados.

El estudio es publicado en el arxiv servidor de preimpresión.

«A medida que los modelos multimodales se vuelven más frecuentes, los adversarios pueden explotar las debilidades a través de canales de texto o visuales, o incluso ambos simultáneamente», dijo Manish Bhattarai, informática de Los Alamos.

«Los sistemas de inteligencia artificial enfrentan amenazas crecientes de manipulaciones sutiles y maliciosas que pueden engañar o corromper sus resultados, y los ataques pueden provocar contenido engañoso o tóxico que parece una producción genuina para el modelo. Al adoptar ataques cada vez más complejos y difíciles de detectar, nuestro marco basado en la topología unificada no identifica las amenazas de su origen».

Los sistemas de IA multimodales se destacan en la integración de diversos tipos de datos al incorporar texto e imágenes en un espacio compartido de alta dimensión, alineando conceptos de imagen con su noción semántica textual (como la palabra «círculo» con una forma circular). Sin embargo, esta capacidad de alineación también introduce vulnerabilidades únicas.

Como estos modelos se implementan cada vez más en aplicaciones de alto riesgo, los adversarios pueden explotarlos a través de texto o entradas visuales, o ambos, utilizando perturbaciones imperceptibles que interrumpen la alineación y potencialmente producen resultados engañosos o dañinos.

Las estrategias de defensa para los sistemas multimodales se han mantenido relativamente inexploradas, incluso cuando estos modelos se utilizan cada vez más en dominios sensibles donde pueden aplicarse a temas de seguridad nacional complejos y contribuir al modelado y la simulación. Sobre la base de la experiencia del equipo desarrollando una estrategia de purificación que neutraliza el ruido adversario en escenarios de ataque en modelos centrados en la imagen, este nuevo enfoque detecta la firma y el origen del ataque adversario en los modelos avanzados de inteligencia artificial avanzados de hoy.

El nuevo enfoque detecta ataques adversos en sistemas de IA multimodales

Prueba de potencia y error promedio de tipo I (última columna) de métodos de detección adversaria en CIFAR10 con incrustación de clip. Crédito: arxiv (2025). Doi: 10.48550/arxiv.2501.18006

Un nuevo enfoque topológico

La solución del equipo de Los Alamos aprovecha el análisis de datos topológicos, una disciplina matemática centrada en la «forma» de los datos, para descubrir estas firmas adversas. Cuando un ataque interrumpe la alineación geométrica de los incrustaciones de texto e imagen, crea una distorsión medible. Los investigadores desarrollaron dos técnicas pioneras, denominadas «pérdidas topológicas-contrastas», para cuantificar estas diferencias topológicas con precisión, identificando efectivamente la presencia de entradas adversas.

«Nuestro algoritmo descubre con precisión las firmas de ataque, y cuando se combina con técnicas estadísticas, puede detectar datos maliciosos de datos con una notable precisión», dijo Minh Vu, miembro posdoctoral de Los Alamos y autor principal en el documento del equipo. «Esta investigación demuestra el potencial transformador de los enfoques basados en topología para asegurar la próxima generación de sistemas de IA y establece una base sólida para futuros avances en el campo».

La efectividad del marco se validó rigurosamente utilizando la supercomputadora de Venado en Los Alamos. Instalado en 2024, los chips de la máquina combinan una unidad de procesamiento central con una unidad de procesamiento de gráficos para abordar las aplicaciones de inteligencia artificial de alto rendimiento y de alta escala. El equipo lo probó en un amplio espectro de métodos de ataque adversario conocidos en múltiples conjuntos de datos y modelos de datos de referencia.

Los resultados fueron inequívocos: el enfoque topológico superó de manera consistente y significativa las defensas existentes, ofreciendo un escudo más confiable y resistente contra las amenazas.

El equipo presentó el trabajo, «firmas topológicas de adversarios en alineaciones multimodales», en el Conferencia internacional sobre aprendizaje automático.

Más información:
Minh Vu et al, firmas topológicas de adversarios en alineaciones multimodales, arxiv (2025). Doi: 10.48550/arxiv.2501.18006

Información en el diario:
arxiv


Proporcionado por el Laboratorio Nacional de Los Alamos


Citación: El enfoque topológico detecta ataques adversos en sistemas de IA multimodales (2025, 4 de agosto) Recuperado el 4 de agosto de 2025 de https://techxplore.com/news/2025-08-topological-procroach-adversarial-multimodal-ai.html

Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.



Fuente

Google se burla de Apple Intelligence Siri Delay en la promoción de anuncios Pixel 10

Una mirada a algunas de las miniaturas incluidas como parte de Diablo: el juego Roleplaying.

Diablo Tabletop RPG promete un héroe completamente engranado de la sesión cero