Editor Top
(A) Ilustra el resultado final del entrenamiento de la red, destacando las áreas de predicción de clases. Las regiones sombreadas delimitan estas áreas, con colores de puntos individuales que indican las etiquetas verdaderas de las muestras de prueba correspondientes, lo que demuestra una alineación general entre las predicciones de la red y las clasificaciones reales. En (B), todas las muestras de prueba fueron sometidas a ataques basados en gradientes, lo que provocó que los puntos de muestra perturbados se desviaran notablemente de sus regiones categóricas correctas, lo que provocó clasificaciones erróneas por parte del modelo de red. (C) Se centra en la región de predicción en evolución para el dígito ‘8’ en las épocas 1, 21 y 41. Cuanto más profunda sea la sombra de la región, mayor será la confianza de la red en su predicción. (D) Similar a (C), pero mostrando predicciones adversas para las imágenes atacadas, se observa que a medida que avanza el entrenamiento, aumenta el radio de distribución efectivo de los puntos de ataque. Esto sugiere que a medida que aumenta la precisión de la red en la identificación de características de entrada, también aumenta su vulnerabilidad a los ataques. Crédito: Science China Press
En un estudio reciente que fusiona los campos de la física cuántica y la informática, el Dr. Jun-Jie Zhang y el Prof. Deyu Meng han explorado las vulnerabilidades de las redes neuronales a través de la lente del principio de incertidumbre en la física.
Su trabajo, publicado en el Revista Nacional de Cienciasestablece un paralelo entre la susceptibilidad de las redes neuronales a ataques dirigidos y las limitaciones impuestas por el principio de incertidumbre, una teoría bien establecida en física cuántica que destaca los desafíos de medir ciertos pares de propiedades simultáneamente.
El análisis de las vulnerabilidades de las redes neuronales, inspirado en lo cuántico, sugiere que los ataques adversarios aprovechan el equilibrio entre la precisión de las características de entrada y sus gradientes calculados.
«Al considerar la arquitectura de las redes neuronales profundas, que implican una función de pérdida para el aprendizaje, siempre podemos definir una variable conjugada para las entradas determinando el gradiente de la función de pérdida con respecto a esas entradas», dice el Dr. Zhang, cuya experiencia radica en la física matemática.
Se espera que esta investigación impulse una reevaluación de la supuesta robustez de las redes neuronales y fomente una comprensión más profunda de sus limitaciones. Al someter un modelo de red neuronal a ataques adversarios, el Dr. Zhang y el Prof. Meng observaron un compromiso entre la precisión del modelo y su resiliencia.
Las subfiguras (A), (C), (E), (G), (I) y (K) muestran la precisión de la prueba y la precisión sólida, y esta última se evalúa en imágenes perturbadas por el ataque de descenso de gradiente proyectado (PDG). método. Las subfiguras (B), (D), (F), (H), (J) y (L) revelan la relación de equilibrio entre precisión y robustez. Crédito: Science China Press
Sus hallazgos indican que las redes neuronales, matemáticamente similares a los sistemas cuánticos, luchan por resolver con precisión ambas variables conjugadas (el gradiente de la función de pérdida y la característica de entrada) simultáneamente, lo que sugiere una vulnerabilidad intrínseca. Esta idea es crucial para el desarrollo de nuevas medidas de protección contra amenazas sofisticadas.
«La importancia de esta investigación es de gran alcance», señala el profesor Meng, experto en aprendizaje automático y autor correspondiente del artículo.
«A medida que las redes neuronales desempeñan un papel cada vez más crítico en los sistemas esenciales, se vuelve imperativo comprender y fortalecer su seguridad. Esta investigación interdisciplinaria ofrece una nueva perspectiva para desmitificar estos complejos sistemas de ‘caja negra’, lo que potencialmente informará el diseño de una IA más segura e interpretable. modelos.»
Más información:
Jun-Jie Zhang et al, Análisis de vulnerabilidades de redes neuronales inspirado en lo cuántico: el papel de las variables conjugadas en los ataques al sistema, Revista Nacional de Ciencias (2024). DOI: 10.1093/nsr/nwae141
Citación: Los científicos descubren vulnerabilidades de inspiración cuántica en redes neuronales (2024, 9 de mayo) obtenido el 20 de mayo de 2024 de https://techxplore.com/news/2024-05-scientists-uncover-quantum-vulnerabilities-neural.html
Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con fines de estudio o investigación privados, ninguna parte puede reproducirse sin el permiso por escrito. El contenido se proporciona únicamente con fines informativos.
GIPHY App Key not set. Please check settings