Los investigadores informan los primeros resultados de la evaluación del software de estimación de la edad

Un nuevo estudio del Instituto Nacional de Estándares y Tecnología (NIST) evalúa el rendimiento de un software que estima la edad de una persona en función de las características físicas evidentes en una foto de su rostro.

Dicho software de estimación y verificación de edad (AEV) podría usarse como guardián de actividades que tienen una restricción de edad, como comprar alcohol o acceder a contenido para adultos en línea.

La estimación de la edad se ha convertido en una tecnología habilitadora en los programas de aseguramiento de la edad recientemente incluidos en la legislación y regulación tanto dentro como fuera de los Estados Unidos. Estos programas tienen como objetivo permitir que sólo aquellos de ciertos grupos de edad accedan a las salas de chat de las redes sociales o compren ciertos productos tanto en línea como en el mundo físico y pueden ser una parte importante de los esfuerzos para proteger a los niños en línea.

El nuevo estudiar, «Evaluación de la tecnología de análisis facial: estimación y verificación de la edad (NIST IR 8525)», evalúa el rendimiento de seis algoritmos que los desarrolladores proporcionaron voluntariamente en respuesta a una convocatoria de presentaciones de septiembre de 2023. Según Kayee Hanaoka, una de las autoras del estudio, los resultados muestran algoritmos con capacidades variables.

«Existe una amplia gama de rendimiento entre estos algoritmos, con margen de mejora en todos los ámbitos», dijo Hanaoka, científico informático del NIST. «Esta es una instantánea parcial del campo de estimación de edad tal como estaba a finales de 2023, pero como el rendimiento de AEV está estrechamente vinculado a los avances en inteligencia artificial, esperamos que el campo cambie rápidamente».

El nuevo estudio es la primera incursión del NIST en la evaluación de AEV en una década y da inicio a un nuevo esfuerzo a largo plazo por parte de la agencia para realizar pruebas frecuentes y periódicas de la tecnología. El NIST evaluó por última vez el software AEV en 2014.

En ese momento, dijo Hanaoka, había mucho menos interés en la tecnología y la evaluación fue un esfuerzo único. Esa prueba utilizó una base de datos única de alrededor de 6 millones de fotografías tomadas de solicitudes de visa y requirió algoritmos solo para proporcionar una estimación de la edad de cada fotografía.

Los tiempos han cambiado durante la década siguiente. El software de análisis facial se ha vuelto lo suficientemente importante como para que el NIST haya dividido su programa de reconocimiento facial en dos vías, una que evalúa la capacidad de los algoritmos para identificar personas (evaluación de la tecnología de reconocimiento facial o FRTE) y otra que evalúa la capacidad de medir aspectos de un rostro ( evaluación de tecnología de análisis facial, o FATE). La nueva prueba es parte de la pista FATE, que también cuenta con evaluaciones dedicadas a detectar fotografías falsas y medir la calidad de la imagen.

La nueva prueba del NIST amplía su colección de fotografías a alrededor de 11,5 millones de fotografías de cuatro bases de datos diversas, todas de fuentes del gobierno de EE. UU.: la colección de visas utilizada en 2014, aumentada por un conjunto de fotografías policiales del FBI, un conjunto de imágenes de cámaras web obtenidas en los cruces fronterizos y un conjunto de fotografías de solicitudes de inmigración de personas nacidas en más de 100 países.

Las fotografías de las bases de datos difieren en calidad de imagen y reflejan una variedad de edades, géneros y regiones de origen. Todos los datos fueron anónimos y la investigación se revisó para proteger los derechos y la privacidad de los sujetos fotografiados.

La prueba nuevamente evaluó los algoritmos en cuanto a su precisión en la estimación de la edad, pero en respuesta a las solicitudes de los desarrolladores de software, la prueba también pidió a los algoritmos que especificaran si la persona en la foto tenía más de 21 años. La prueba fue una «caja cerrada». estudio, en el que los investigadores del NIST analizaron sólo el rendimiento final de los algoritmos, no su funcionamiento interno ni cómo llegaron a sus resultados. NIST no hace recomendaciones sobre si el software es apto para casos de uso particulares.

Hanaoka dijo que el informe ofrece algunas conclusiones iniciales:

• No existe un algoritmo único que destaque, y la precisión de un algoritmo determinado está influenciada por la calidad de la imagen, el género, la región de nacimiento, la edad de la persona en la fotografía y las interacciones entre estos factores. Todos los algoritmos tienen sus propias sensibilidades con ciertos grupos demográficos; un algoritmo que funciona bien en ciertos grupos puede funcionar mal en otros.
• Como era de esperar, el software AEV ha mejorado en la década transcurrida desde el informe anterior. Al hacer estimaciones de edad en la base de datos común de fotografías para visas (que se utilizó tanto en 2014 como en el estudio actual), el error absoluto medio de los algoritmos disminuyó de 4,3 a 3,1 años. Cinco de los seis algoritmos superan al algoritmo más preciso presentado en 2014.
• Las tasas de error casi siempre fueron mayores en los rostros femeninos que en los masculinos. Esto también fue cierto para los algoritmos evaluados en 2014, pero se desconocen las razones subyacentes.

El programa de pruebas está diseñado para ser continuo y los autores del estudio aceptan envíos de nuevos algoritmos de forma continua. El equipo planea publicar actualizaciones de esta primera ronda de resultados en su sitio web una vez cada cuatro a seis semanas, dijo Hanaoka.

«Anticipamos un cambio rápido en el campo del software AEV y tenemos la intención de actualizar y ampliar nuestros métodos de prueba en un futuro próximo», afirmó. «Planeamos pedir a los algoritmos que respondan preguntas adicionales, como por ejemplo si es posible un mejor rendimiento si hay disponible una foto anterior de la misma persona. También estamos planeando ampliar y diversificar las bases de datos de fotografías para cubrir mejor aplicaciones como las online. seguridad.»

Todas las actualizaciones estarán disponibles en el NIST. Sitio web del proyecto AEVy las partes interesadas pueden recibir actualizaciones de estado enviando un correo electrónico a [email protected].

Esta historia se vuelve a publicar por cortesía del NIST. Leer la historia original aquí.