La investigación de ingeniería descubre vulnerabilidades críticas en robots habilitados para IA

Dentro de su nueva iniciativa de Innovación Responsable, los investigadores de Penn Engineering descubrieron que ciertas características de los robots gobernados por IA conllevan vulnerabilidades y debilidades de seguridad que antes no estaban identificadas y eran desconocidas. La investigación tiene como objetivo abordar la vulnerabilidad emergente para garantizar la implementación segura de grandes modelos de lenguaje (LLM) en robótica.

«Nuestro trabajo muestra que, en este momento, los grandes modelos de lenguaje simplemente no son lo suficientemente seguros cuando se integran con el mundo físico», dice George Pappas, profesor de Transporte en Ingeniería Eléctrica y de Sistemas (ESE) de la Fundación UPS, en Ciencias de la Información y la Computación ( CIS), y en Ingeniería Mecánica y Mecánica Aplicada (MEAM).

En el nuevo artículo, Pappas, quien también se desempeña como Decano Asociado de Investigación en Penn Engineering, y sus coautores advierten que una amplia variedad de robots controlados por IA pueden ser manipulados o pirateados.

RoboPAIR, el algoritmo que desarrollaron los investigadores, necesitó sólo unos días para lograr una tasa de «jailbreak» del 100%, evitando las barreras de seguridad en tres sistemas robóticos diferentes: el Unitree Go2un robot cuadrúpedo utilizado en diversas aplicaciones; el Chacal de Robótica Clearpathun vehículo con ruedas que se utiliza a menudo para investigaciones académicas; y el Maestría en Delfinesun simulador de conducción autónoma diseñado por NVIDIA. Por ejemplo, al sortear las barandillas de seguridad, el sistema de conducción autónoma podría manipularse para acelerar los cruces peatonales.

Antes de publicar el estudio, Penn Engineering informó a las empresas sobre las vulnerabilidades de sus sistemas y está trabajando con ellas para utilizar la investigación como marco para avanzar en las pruebas y validación de los protocolos de seguridad de IA de estos fabricantes.

«Lo que es importante subrayar aquí es que los sistemas se vuelven más seguros cuando se encuentran sus debilidades. Esto es cierto para la ciberseguridad. Esto también es válido para la seguridad de la IA», dice Alexander Robey, reciente doctorado en ingeniería de Penn. Licenciado en ESE, actual becario postdoctoral en la Universidad Carnegie Mellon y primer autor del artículo.

«De hecho, el equipo rojo de IA, una práctica de seguridad que implica probar los sistemas de IA para detectar posibles amenazas y vulnerabilidades, es esencial para salvaguardar los sistemas de IA generativos, porque una vez que se identifican las debilidades, se pueden probar e incluso entrenar estos sistemas para evitarlas. «

Lo que se requiere para abordar el problema, argumentan los investigadores, es menos un parche de software que una reevaluación integral de cómo se regula la integración de la IA en los sistemas físicos.

• 

• 

«Los hallazgos de este artículo dejan muy claro que tener un enfoque que priorice la seguridad es fundamental para desbloquear la innovación responsable», dice Vijay Kumar, decano de la familia Nemirovsky de Penn Engineering y otro coautor.

«Debemos abordar las vulnerabilidades intrínsecas antes de implementar robots habilitados para IA en el mundo real. De hecho, nuestra investigación está desarrollando un marco de verificación y validación que garantiza que los sistemas robóticos solo puedan (y deban) tomar acciones que se ajusten a las normas sociales».