Un equipo crea un software para bloquear las estafas de phishing mediante inteligencia artificial

Un equipo de investigadores de la Universidad de Texas en Arlington ha desarrollado un software que impide que los chatbots de inteligencia artificial (IA) como ChatGPT creen sitios web de phishing, una preocupación creciente a medida que los ciberdelincuentes han estado utilizando la tecnología para diseñar estafas.

Creado por Shirin Nilizadeh, profesora adjunta del Departamento de Ciencias de la Computación e Ingeniería, y sus estudiantes de doctorado Sayak Saha Roy y Poojitha Thota, el software permite a los chatbots de IA detectar y rechazar mejor las instrucciones ingresadas por los usuarios que podrían usarse para crear sitios web de phishing.

En la actualidad, los chatbots de IA tienen algunas capacidades de detección incorporadas, pero la Dra. Nilizadeh dijo que su equipo ha encontrado lagunas que podrían eludirlas fácilmente y explotar los chatbots para crear estos ataques. Con la aparición de los chatbots de IA, lanzar estafas en línea se ha vuelto muy accesible, incluso para atacantes con habilidades técnicas mínimas. Ahora, no se necesitan conocimientos de codificación para crear un sitio web, ya que la IA puede crear uno casi instantáneamente.

«Estas herramientas son muy poderosas y estamos mostrando cómo los atacantes pueden hacer un mal uso de ellas», afirmó Nilizadeh.

Para desarrollar su herramienta, el grupo identificó inicialmente varias instrucciones que podrían usarse para crear sitios web de phishing, dijo Saha Roy. Aprovechando este conocimiento, entrenaron con éxito su software para reconocer y reaccionar ante esas palabras clave y patrones específicos, mejorando su capacidad para detectar y bloquear esos mensajes maliciosos para que los chatbots no los ejecuten.

El trabajo del equipo ha captado una atención significativa dentro de la industria de la ciberseguridad, resaltada por su Publicación reciente en el Simposio IEEE sobre seguridad y privacidad (IEEE S&P 2024). En mayo, los investigadores no solo compartieron sus hallazgos, sino que también recibieron el premio al mejor artículo, lo que subraya aún más el impacto de su investigación.

«Quiero que la gente sea receptiva a nuestro trabajo y vea el riesgo», dijo Saha Roy. «Todo empieza en la comunidad de seguridad y se va extendiendo desde allí».

Los investigadores se pusieron en contacto con las principales empresas tecnológicas que impulsan estos chatbots, incluidas Google y OpenAI, con el objetivo de integrar sus hallazgos en estrategias de seguridad de IA más amplias. Tanto Saha Roy como Thota expresaron un fuerte compromiso con las implicaciones de su investigación para la ciberseguridad.

«Estoy muy contento de haber podido trabajar en esta importante investigación», añadió Thota. «También espero poder compartir este trabajo con nuestros colegas del ámbito de la ciberseguridad y encontrar formas de avanzar en nuestro trabajo».