Buscando una forma de evitar que los modelos de audio para el aprendizaje automático de IA sean engañados

La inteligencia artificial (IA) se basa cada vez más en modelos de aprendizaje automático, entrenados con grandes conjuntos de datos. Asimismo, la interacción persona-computadora depende cada vez más de la comunicación por voz, principalmente debido al notable desempeño de los modelos de aprendizaje automático en las tareas de reconocimiento de voz.

Sin embargo, estos modelos pueden ser engañados por ejemplos «contradictorios»; en otras palabras, entradas perturbadas intencionalmente para producir una predicción incorrecta sin que los humanos noten los cambios. «Supongamos que tenemos un modelo que clasifica el audio (p. Ej., Reconocimiento de comandos de voz) y queremos engañarlo; es decir, generar una perturbación que impida maliciosamente que el modelo funcione correctamente. Si una señal se escucha correctamente, una persona puede para notar si una señal dice ‘sí’, por ejemplo. Cuando agregamos una perturbación adversaria, todavía escucharemos ‘sí’, pero el modelo comenzará a escuchar ‘no’ o ‘girar a la derecha’ en lugar de a la izquierda o cualquier otro comando no queremos ejecutar ”, explica Jon Vadillo, investigador del Departamento de Informática e Inteligencia Artificial de la UPV / EHU.

Esto podría tener «implicaciones muy serias a nivel de la aplicación de estas tecnologías a problemas del mundo real o altamente sensibles», agregó Vadillo. No está claro por qué sucede esto. ¿Por qué un modelo que se comporta de forma tan inteligente dejaría de funcionar de forma repentina cuando recibe señales incluso levemente alteradas?

Engañar al modelo usando una perturbación indetectable

«Es importante saber si un modelo o programa tiene vulnerabilidades», agregó el investigador de la Facultad de Informática. «En primer lugar, investigamos estas vulnerabilidades para comprobar que existen y porque ese es el primer paso para solucionarlas». Si bien mucha investigación se ha centrado en el desarrollo de nuevas técnicas para generar perturbaciones adversas, se ha prestado menos atención a los aspectos que determinan si estas perturbaciones pueden ser percibidas por los humanos y cómo son estos aspectos. Este tema es importante, ya que las estrategias de perturbación adversarial propuestas solo representan una amenaza si las perturbaciones no pueden ser detectadas por los humanos.

Este estudio ha investigado hasta qué punto las métricas de distorsión propuestas en la literatura para ejemplos de audio contradictorios pueden medir de manera confiable la percepción humana de las perturbaciones. En un experimento en el que 36 personas evaluaron ejemplos de adversarios o perturbaciones de audio de acuerdo con varios factores, los investigadores demostraron que «las métricas que se están utilizando por convención en la literatura no son completamente robustas o confiables. En otras palabras, no representan adecuadamente la percepción auditiva de los humanos; pueden decirte que una perturbación no se puede detectar, pero luego cuando la evaluamos con humanos, resulta ser detectable. Por eso queremos advertir que debido a la falta de confiabilidad de estas métricas , el estudio de estos ataques de audio no se está haciendo muy bien ”, dijo el investigador.

Además, los investigadores han propuesto un método de evaluación más robusto que es el resultado del «análisis de ciertas propiedades o factores en el audio que son relevantes al evaluar la detectabilidad, por ejemplo, las partes del audio en las que una perturbación es más detectable». . » Aun así, «este problema permanece abierto porque es muy difícil llegar a una métrica matemática que sea capaz de modelar la percepción auditiva. Dependiendo del tipo de señal de audio, probablemente se requerirán diferentes métricas o se deberán considerar diferentes factores . Lograr métricas de audio generales que sean representativas es una tarea compleja ”, concluyó Vadillo.