La herramienta de equidad captura el sesgo de IA temprano

El software de aprendizaje automático ayuda a las agencias a tomar decisiones importantes, como quién obtiene un préstamo bancario o qué áreas debe patrullar la policía. Pero si estos sistemas tienen sesgos, incluso pequeños, pueden causar daños reales. Un grupo específico de personas podría estar subrepresentado en un conjunto de datos de capacitación, por ejemplo, y como el modelo de aprendizaje automático (ML) aprende que el sesgo puede multiplicarse y conducir a resultados injustos, como negaciones de préstamos o puntajes de mayor riesgo en los sistemas de gestión de prescripción.

Investigadores de la Escuela de Ciencias de la Computación de la Universidad de Carnegie Mellon (SCS) crearon Fairsense para ayudar a los desarrolladores a abordar la injusticia en los sistemas de ML antes de que ocurra el daño. Actualmente, la mayoría de las verificaciones de justicia analizan un sistema en un momento específico, pero los modelos ML aprenden, se adaptan y cambian. Fairsense simula estos sistemas en sus entornos durante largos períodos a tiempo para medir la injusticia.

«La clave es pensar en los bucles de retroalimentación», dijo Christian Kästner, profesor asociado en el departamento de software y sistemas sociales (S3D). «Es posible que tenga un pequeño sesgo en el modelo, como una pequeña discriminación contra un género o raza. Cuando se despliega, el modelo produce un efecto en el mundo real. Discrimina contra las personas: obtienen menos oportunidades, menos dinero o terminan en la cárcel con más frecuencia. Y luego capacita el sistema en los datos influenciados por ese modelo, lo que podría amplificar el bias a lo largo del tiempo.

«Por lo tanto, podría ser pequeño al principio, pero debido a que tiene un efecto en el mundo real y luego el modelo aprende de eso nuevamente, podría convertirse en un círculo vicioso donde crece el sesgo».

En «Fairsense: análisis de equidad a largo plazo de sistemas habilitados para ML«Los investigadores de SCS exploraron cómo los cambios de equidad a medida que estos sistemas ML se usan con el tiempo. Se centraron en probar estos sistemas en un entorno dinámico en lugar de en un estado estático.

Para usar Fairsense, los desarrolladores proporcionan información sobre el sistema de aprendizaje automático, un modelo del entorno en el que se utilizará y la métrica que indica la equidad. Por ejemplo, en un banco, el sistema podría ser un software que predice la solvencia de los solicitantes y tome decisiones de préstamo. El modelo de medio ambiente incluye información relevante del historial de crédito del solicitante y cómo los puntajes de crédito podrían verse afectados, y la métrica de equidad podría ser la paridad entre diferentes grupos de personas aprobadas para préstamos.

Junto con Kästner, el equipo incluyó a Yining She, un estudiante de doctorado, y Eunsuk Kang, profesor asociado. Sumon Biswas de Case Western Reserve University también participó en la investigación, que el equipo presentó a principios de este año en el Conferencia internacional sobre ingeniería de software.

«Simulamos cómo la justicia podría cambiar durante un largo período de tiempo después de que se despliega el sistema», dijo. «Si observamos un aumento en la injusticia con el tiempo, el siguiente paso es identificar los factores centrales que afectan esta equidad para que el desarrollador pueda abordar estos problemas de manera proactiva».

Dado que los sistemas habilitados para ML se implementan en situaciones variadas y complejas que no siempre son predecibles, Fairsense puede capturar y simular esa incertidumbre en el modelo de entorno. En los préstamos de préstamos, por ejemplo, las actualizaciones de puntaje de crédito y los nuevos solicitantes de préstamos son incontrolables y podrían afectar la forma en que el sistema se comporta con el tiempo. La simulación de Fairsense genera una amplia gama de posibles escenarios basados ​​en estas variables y permite a los desarrolladores identificar factores, como los umbrales de puntaje de crédito u otros parámetros, que podrían tener el impacto más significativo en los problemas de equidad a largo plazo.

«Gran parte del software que construimos puede afectar negativamente a las personas», dijo Kang. «Los sistemas que construimos tienen un impacto social. Las personas que construyen estos sistemas deberían estar pensando en los problemas que pueden surgir con el tiempo, no solo en este momento.

«Cuando construye e implementa el sistema, ¿qué posibles cosas malas podrían suceder en el futuro? Espero que leer documentos como este aliente a los desarrolladores de software a pensar de manera más amplia sobre los posibles daños causados ​​por los sistemas que crean y abordar de manera proactiva a este tipo de problemas antes de que se despliegue en el mundo real».

Los investigadores planean expandir el trabajo de Fairsense para monitorear continuamente la equidad de los sistemas ML y desarrollar una herramienta para explicar cómo estos sistemas pueden volverse injustos.