El nuevo modelo de IA puede ayudar a prevenir filtraciones de datos dañinas y costosas

Los expertos en privacidad de Imperial han creado un algoritmo de inteligencia artificial que prueba automáticamente los sistemas de preservación de la privacidad en busca de posibles fugas de datos.

Esta es la primera vez que se utiliza IA para descubrir automáticamente vulnerabilidades en este tipo de sistemas, ejemplos de los cuales son utilizados por Google Maps y Facebook.

Los expertos, del Computational Privacy Group de Imperial, analizaron los ataques a los sistemas basados ​​en consultas (QBS), interfaces controladas a través de las cuales los analistas pueden consultar datos para extraer información agregada útil sobre el mundo. Luego desarrollaron un nuevo método habilitado para IA llamado QuerySnout para detectar ataques en QBS.

QBS brinda a los analistas acceso a colecciones de estadísticas recopiladas a partir de datos a nivel individual, como ubicación y datos demográficos. Actualmente se usan en Google Maps para mostrar información en vivo sobre qué tan ocupada está un área, o en la función de Medición de audiencia de Facebook para estimar el tamaño de la audiencia en una ubicación o grupo demográfico en particular para ayudar con las promociones publicitarias.

En su nuevo estudio, publicado como parte de la 29.ª Conferencia ACM sobre Seguridad Informática y de las Comunicaciones, el equipo, que incluye a Ana Maria Cretu, el Dr. Florimond Houssiau, el Dr. Antoine Cully y el Dr. Yves-Alexandre de Montjoye, del Data Science Institute, encontraron que la poderosa y los ataques precisos contra QBS se pueden detectar automáticamente con solo presionar un botón.

Según el autor sénior, el Dr. Yves-Alexandre de Montjoye: «Hasta ahora, los ataques se han desarrollado manualmente utilizando experiencia altamente calificada. Esto significa que tomó mucho tiempo descubrir las vulnerabilidades, lo que deja a los sistemas en riesgo».

«QuerySnout ya está superando a los humanos en el descubrimiento de vulnerabilidades en los sistemas del mundo real».

La necesidad de sistemas basados ​​en consultas

Nuestra capacidad para recopilar y almacenar datos se ha disparado en la última década. Si bien estos datos pueden ayudar a impulsar los avances científicos, la mayor parte es personal y, por lo tanto, su uso plantea graves problemas de privacidad, protegidos por leyes como el Reglamento General de Protección de Datos de la UE.

Por lo tanto, permitir que los datos se utilicen para el bien mientras se preserva nuestro derecho fundamental a la privacidad es una pregunta crucial y oportuna para los científicos de datos y los expertos en privacidad.

QBS tiene el potencial de permitir el análisis de datos anónimos a escala para preservar la privacidad. En QBS, los curadores mantienen el control sobre los datos y, por lo tanto, pueden verificar y examinar las consultas enviadas por los analistas para asegurarse de que las respuestas devueltas no revelen información privada sobre las personas.

Sin embargo, los atacantes ilegales pueden eludir dichos sistemas mediante el diseño de consultas para inferir información personal sobre personas específicas mediante la explotación de vulnerabilidades o errores de implementación del sistema.

Probando el sistema

Los riesgos de fuertes ataques de «día cero» desconocidos en los que los atacantes aprovechan las vulnerabilidades de los sistemas han estancado el desarrollo y la implementación de QBS.

Para probar la solidez de estos sistemas, de manera similar a las pruebas de penetración en ciberseguridad, se pueden simular ataques de violación de datos para detectar fugas de información e identificar posibles vulnerabilidades.

Sin embargo, diseñar e implementar manualmente estos ataques contra QBS complejos es un proceso largo y difícil.

Por lo tanto, dicen los investigadores, limitar el potencial de fuertes ataques no mitigados es esencial para permitir que QBS se implemente de manera útil y segura, al mismo tiempo que se preservan los derechos individuales a la privacidad.

ConsultaHocico

El equipo de Imperial desarrolló un nuevo método habilitado para IA llamado QuerySnout que funciona aprendiendo qué preguntas hacerle al sistema para obtener respuestas. Luego aprende a combinar las respuestas automáticamente para detectar posibles vulnerabilidades de privacidad.

Al usar el aprendizaje automático, el modelo puede crear un ataque que consiste en una colección de consultas que combina las respuestas para revelar una parte particular de información privada. Este proceso está completamente automatizado y utiliza una técnica llamada «búsqueda evolutiva» que permite que el modelo QuerySnout descubra los conjuntos correctos de preguntas para hacer.

Esto tiene lugar en una «configuración de caja negra», lo que significa que la IA solo necesita acceder al sistema, pero no necesita saber cómo funciona el sistema para detectar las vulnerabilidades.

La coprimera autora Ana-Maria Cretu dijo: «Demostramos que QuerySnout encuentra ataques más poderosos que los que se conocen actualmente en los sistemas del mundo real. Esto significa que nuestro modelo de IA es mejor que los humanos para encontrar estos ataques».

Próximos pasos

Actualmente, QuerySnout solo prueba una pequeña cantidad de funcionalidades. Según el Dr. de Montjoye, «el principal desafío en el futuro será escalar la búsqueda a un número mucho mayor de funcionalidades para asegurarse de que descubre incluso los ataques más avanzados».

A pesar de esto, el modelo puede permitir a los analistas probar la solidez de QBS contra diferentes tipos de atacantes. El desarrollo de QuerySnout representa un paso clave para garantizar la privacidad individual en relación con los sistemas basados ​​en consultas.