Hacia una Sociedad 5.0 segura: Aprendizaje reforzado para la formación de agentes de pentesting en entornos de red realistas

Garantizar la seguridad de los sistemas e infraestructuras de red es un aspecto crítico de la ciberseguridad. Las pruebas de penetración (petesting) son un método eficaz para evaluar la postura de seguridad de la red.

En los últimos años, los investigadores se han propuesto desarrollar enfoques eficientes para realizar el procedimiento de pentesting automáticamente para abordar los problemas de los métodos tradicionales manuales y que requieren mucho tiempo. Un enfoque es utilizar técnicas de aprendizaje por refuerzo (RL), que se han aplicado para crear agentes automatizados que imitan las acciones de los pentesters humanos pero que tienen mayor velocidad, escala y precisión.

Se han introducido varios entornos de simulación como método principal para entrenar a estos agentes de RL. Sin embargo, la gran dependencia de constantes predefinidas y valores probabilísticos para las acciones de los agentes y los estados ambientales conduce a posibles imprecisiones en la replicación del comportamiento del mundo real debido a factores que no fueron modelados, lo que disminuye la precisión y el rendimiento de los agentes. Además, es posible que la red simulada no represente con precisión la configuración y topología de una red real.

Para abordar esta «brecha de realidad», un equipo de investigadores dirigido por el profesor asociado Razvan Beuran, junto con su estudiante de doctorado Huynh Phuong Thanh Nguyen en el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST) e investigadores de KDDI Research, ha diseñado y implementó PenGym, un marco de capacitación realista efectivo y confiable para agentes de pentesting de RL que se desarrolló como parte de un proyecto conjunto con KDDI Research.

PenGym permite a los agentes de RL ejecutar acciones reales en hosts realistas en entornos de red. Para ello, el framework contiene un Módulo Acción/Estado que implementa un conjunto de acciones reales de pentesting para la interacción entre los agentes de RL y el entorno de formación. Además, el entorno de formación se basa en la tecnología Cyber ​​Range utilizada para la formación en ciberseguridad humana y se crea automáticamente según varios escenarios de pentesting.

Se implementaron varias técnicas de optimización para mejorar el rendimiento de ejecución del tiempo de PenGym. Como resultado, su marco elimina la necesidad de modelar acciones, lo que da como resultado una representación más precisa de la dinámica de la red y la seguridad en comparación con los entornos basados ​​en simulación. Su estudio fue publicado en Computadoras y seguridad.

El enfoque de utilizar un entorno de red real que haga posible la ejecución de acciones de pentesting reales, tal como se emplea en esta investigación, arroja resultados prometedores en comparación con entornos simulados. En particular, sus experimentos demostraron las ventajas y la eficacia de utilizar PenGym como un entorno de entrenamiento realista para agentes de pentesting de RL. Por lo tanto, los agentes entrenados en PenGym mostraron un rendimiento de pentesting superior en redes reales en comparación con los agentes entrenados en simulación.

Con base en los resultados del experimento que obtuvieron los investigadores, consideran que su investigación podría conducir a cambios en varias áreas de investigación relacionadas con las redes, reemplazando potencialmente el enfoque tradicional de crear modelos lógicos complejos para simular entornos de red con métodos más realistas. Además, los entornos de formación realistas se pueden aplicar a otras áreas de investigación.

Un ejemplo importante es la ciberdefensa automatizada que utiliza agentes RL, que pueden utilizarse para mejorar los mecanismos de protección de la infraestructura de red real y contribuir a la confiabilidad de la Sociedad 5.0. Para respaldar las actividades potenciales de otros investigadores en este campo, lanzaron PenGym como código abierto en GitHub.