NIST evalúa la precisión del software de reconocimiento facial para el embarque de vuelos

Los algoritmos de reconocimiento facial más precisos han demostrado la capacidad de confirmar las identidades de los pasajeros de las aerolíneas con muy pocos errores, según pruebas recientes del software realizadas en el Instituto Nacional de Estándares y Tecnología (NIST).

Los hallazgos, publicados hoy como «Prueba de proveedor de reconocimiento facial (FRVT) Parte 7: Identificación para viajes e inmigración sin papel», se centran en el rendimiento de los algoritmos de reconocimiento facial (FR) en un conjunto particular de circunstancias simuladas: hacer coincidir imágenes de viajeros con imágenes obtenidas previamente fotos de esos viajeros almacenadas en una base de datos. Este uso de FR es actualmente parte del proceso de incorporación para vuelos internacionales, tanto para confirmar la identidad de un pasajero para la lista de vuelos de la aerolínea como para registrar la salida oficial de inmigración del pasajero de los Estados Unidos.

Los resultados indican que varios de los algoritmos FR probados por el NIST podrían realizar la tarea utilizando un solo escaneo de la cara de un pasajero con una precisión del 99.5% o mejor, especialmente si la base de datos contiene varias imágenes del pasajero.

«Realizamos simulaciones para caracterizar un sistema que está haciendo dos trabajos: identificar a los pasajeros en la puerta y registrar su salida para inmigración», dijo Patrick Grother, científico informático del NIST y uno de los autores del informe. «Descubrimos que la precisión varía según los algoritmos, pero que los algoritmos modernos generalmente funcionan mejor. Si las aerolíneas usan los más precisos, los pasajeros pueden abordar muchos vuelos sin errores».

Los estudios anteriores de FRVT se han centrado en evaluar cómo los algoritmos realizan una de dos tareas diferentes que se encuentran entre las aplicaciones más comunes de FR. La primera tarea, confirmar que una foto coincide con otra diferente de la misma persona, se conoce como coincidencia «uno a uno» y se usa comúnmente para trabajos de verificación, como desbloquear un teléfono inteligente. El segundo, determinar si la persona en la foto tiene una coincidencia en una gran base de datos, se conoce como coincidencia «uno a muchos».

Esta última prueba se refiere a una aplicación específica de emparejamiento de uno a muchos en entornos de tránsito aeroportuario, donde los rostros de los viajeros se comparan con una base de datos de personas que se espera que estén presentes. En este escenario, solo unos pocos cientos de pasajeros abordan un vuelo determinado. Sin embargo, el NIST también analizó si la tecnología podría ser viable en otras partes del aeropuerto, específicamente en la línea de seguridad, donde quizás se esperaría 100 veces más personas durante un cierto período de tiempo. (La base de datos se creó a partir de imágenes utilizadas en estudios anteriores de FRVT, pero los sujetos no llevaban máscaras faciales).

Al igual que en estudios anteriores, el equipo utilizó software que los desarrolladores enviaron voluntariamente al NIST para su evaluación. Esta vez, el equipo solo analizó el software que fue diseñado para realizar la tarea de emparejamiento de uno a muchos, evaluando un total de 29 algoritmos.

Entre los hallazgos del informe se encuentran:

• Los siete algoritmos de mejor rendimiento pueden identificar con éxito al menos el 99,5% de los pasajeros la primera vez si la base de datos contiene una imagen de un pasajero. Si la base de datos contiene una sola imagen de cada individuo, el estudio muestra que para 428 de los 567 procesos de embarque de vuelos simulados, con cada vuelo con 420 pasajeros, el algoritmo FR más preciso puede identificar a los pasajeros para el embarque sin falsos negativos (es decir, el software no coincide con dos imágenes de la misma persona). Expresado en términos de tasas de error, esto corresponde a que al menos el 99,87% de los viajeros pueden abordar con éxito después de presentarse una vez a la cámara. Seis algoritmos adicionales dan una precisión superior al 99,5%.
• El rendimiento mejora drásticamente si la base de datos contiene varias imágenes de un pasajero. La galería de la base de datos puede contener más de una imagen de un solo pasajero. Cuando hay un promedio de seis imágenes previas de un pasajero en la galería, todos los algoritmos obtienen grandes ganancias: el algoritmo más preciso verificará las identidades de los pasajeros en 545 de 567 vuelos sin errores, y al menos 18 algoritmos de desarrolladores son efectivos. en identificar con precisión a más del 99,5% de los viajeros con una sola presentación a la cámara.
• Las diferencias demográficas en el conjunto de datos tienen poco efecto. El equipo exploró las diferencias en el desempeño en sujetos masculinos versus femeninos y también en el origen nacional, que eran los dos identificadores que incluían las fotos. El origen nacional puede reflejar antecedentes raciales, pero no siempre. Los algoritmos se realizaron con gran precisión en todas estas variaciones. Los falsos negativos, aunque un poco más comunes en las mujeres, fueron raros en todos los casos.

Grother dijo que el estudio no aborda un factor importante: el tipo de cámara que usa un sistema FR. Debido a que los entornos de los aeropuertos son diferentes y debido a que las cámaras en sí funcionan de diferentes maneras, el informe ofrece algunas pautas para las pruebas que una aerolínea o una autoridad de inmigración podría ejecutar para complementar los resultados de las pruebas del NIST. Tales pruebas proporcionarían estimaciones de precisión que reflejan el equipo y el entorno reales donde se utiliza.

«No nos centramos en las cámaras, que son una variable influyente», dijo. «Recomendamos que los funcionarios realicen las otras pruebas que describimos para perfeccionar sus operaciones».

Esta historia se vuelve a publicar por cortesía de NIST. Leer la historia original aquí.