El nuevo software puede verificar cuánta información sabe realmente la IA

Con un interés creciente en los sistemas de inteligencia artificial generativa (IA) en todo el mundo, los investigadores de la Universidad de Surrey han creado un software que puede verificar cuánta información ha obtenido un sistema de datos de IA de la base de datos digital de una organización.

El software de verificación de Surrey se puede utilizar como parte del protocolo de seguridad en línea de una empresa, lo que ayuda a una organización a comprender si la IA ha aprendido demasiado o incluso ha accedido a datos confidenciales.

El software también es capaz de identificar si AI ha identificado y es capaz de explotar fallas en el código del software. Por ejemplo, en un contexto de juegos en línea, podría identificar si una IA ha aprendido a ganar siempre en el póquer en línea al explotar una falla de codificación.

El Dr. Fortunat Rajaona es investigador en verificación formal de la privacidad en la Universidad de Surrey y autor principal del artículo. Dijo: «En muchas aplicaciones, los sistemas de IA interactúan entre sí o con humanos, como los automóviles autónomos en una autopista o los robots de hospitales. Descubrir lo que sabe un sistema inteligente de datos de IA es un problema continuo que nos ha llevado años resolver». encontrar una solución de trabajo para.

«Nuestro software de verificación puede deducir cuánto puede aprender AI de su interacción, si tienen suficiente conocimiento que permita una cooperación exitosa y si tienen demasiado conocimiento que romperá la privacidad. A través de la capacidad de verificar lo que AI ha aprendido, podemos dar organizaciones la confianza para liberar de manera segura el poder de la IA en entornos seguros».

El estudio sobre el software de Surrey ganó el premio al mejor artículo en la 25º Simposio Internacional de Métodos Formales.

El profesor Adrian Hilton, director del Instituto de IA centrada en las personas de la Universidad de Surrey, dijo: «Durante los últimos meses ha habido un gran aumento del interés del público y de la industria en los modelos de IA generativos impulsado por los avances en modelos de lenguajes grandes como como ChatGPT. La creación de herramientas que puedan verificar el rendimiento de la IA generativa es esencial para respaldar su implementación segura y responsable. Esta investigación es un paso importante para mantener la privacidad y la integridad de los conjuntos de datos utilizados en la capacitación».