Un nuevo enfoque mejora la reparación automática de software mediante la generación de casos de prueba

Los investigadores de IMDEA Software Facundo Molina, Juan Manuel Copia y Alessandra Gorla presentan FIXCHECK, un novedoso enfoque para mejorar el análisis de corrección de parches que combina análisis estático, pruebas aleatorias y grandes modelos de lenguaje.

Sus innovaciones, plasmadas en el artículo: «Mejora del análisis de corrección de parches mediante pruebas aleatorias y modelos de lenguaje grandes», se presentaron en la Conferencia internacional sobre pruebas, verificación y validación de software (CTIC 2024), y se proporcionan detalles adicionales. disponible sobre el Zenodo servidor.

Generar parches que corrijan los defectos del software es una tarea crucial en el mantenimiento de los sistemas de software. Normalmente, los defectos del software se informan mediante casos de prueba, que revelan comportamientos indeseables en el software.

En respuesta a estos defectos, los desarrolladores crean parches que deben someterse a una validación antes de incluirse en el código base, lo que garantiza que la prueba proporcionada ya no exponga el defecto. Sin embargo, los parches pueden no solucionar eficazmente el error subyacente o introducir errores nuevos, lo que da lugar a lo que se conoce como correcciones incorrectas o parches incorrectos.

La detección de estos parches incorrectos puede afectar significativamente el tiempo y el esfuerzo invertidos por los desarrolladores en corregir errores y en el mantenimiento general de los sistemas de software.

La reparación automática de programas (APR) ofrece a los desarrolladores de software herramientas capaces de generar automáticamente parches para programas con errores. Sin embargo, su uso ha descubierto numerosos parches incorrectos que no solucionan el error.

Para abordar este problema, los investigadores de IMDEA Software han creado FIXCHECK, un nuevo enfoque para mejorar el resultado de los análisis de corrección de parches que combina análisis estático, pruebas aleatorias y grandes modelos de lenguaje (LLM) para generar automáticamente pruebas para detectar errores en parches potencialmente incorrectos.

FIXCHECK emplea un proceso de dos pasos. El primer paso consiste en generar pruebas aleatorias, obteniendo un gran conjunto de casos de prueba. El segundo paso se basa en el uso de grandes modelos de lenguaje, de los cuales se derivan afirmaciones significativas para cada caso de prueba.

Además, FIXCHECK incluye un mecanismo de selección y priorización que ejecuta nuevos casos de prueba en el programa parcheado y luego descarta o clasifica estas pruebas según su probabilidad de revelar errores en el parche.

“La efectividad de FIXCHECK en la generación de casos de prueba que revelan errores en parches incorrectos se evaluó en 160 parches, incluyendo parches creados por desarrolladores y parches generados por herramientas RPA”, afirma Facundo Molina, investigador postdoctoral del Instituto IMDEA Software.

Los resultados muestran que FIXCHECK puede generar pruebas de detección de errores de manera eficaz para el 62 % de los parches incorrectos escritos por desarrolladores, con un alto grado de confianza. Además, complementa las técnicas de evaluación de corrección de parches existentes al proporcionar casos de prueba que revelan errores en hasta el 50 % de los parches incorrectos identificados mediante técnicas de última generación.

FIXCHECK representa un avance significativo en el campo de la reparación y el mantenimiento de software al proporcionar una solución sólida para automatizar la generación de pruebas y detectar fallas durante el mantenimiento de software. Este enfoque no solo mejora la eficacia de la validación de parches, sino que también promueve una adopción más amplia de métodos automatizados de reparación de programas.

Proporcionado por el Instituto IMDEA Software