La supervisión humana de los sistemas de IA puede no ser tan eficaz como pensamos, especialmente cuando se trata de guerra

A medida que la inteligencia artificial (IA) se vuelve más poderosa (e incluso se la utiliza en la guerra), existe una necesidad urgente de que los gobiernos, las empresas tecnológicas y los organismos internacionales garanticen su seguridad. Y un denominador común en la mayoría de los acuerdos sobre seguridad de la IA es la necesidad de que la tecnología sea supervisada por humanos.

En teoría, los seres humanos pueden actuar como salvaguardas contra el mal uso y las posibles alucinaciones (cuando la IA genera información incorrecta). Esto podría implicar, por ejemplo, que un ser humano revise el contenido que genera la tecnología (sus resultados). Sin embargo, la idea de que los seres humanos actúen como un control eficaz de los sistemas informáticos presenta desafíos inherentes, como lo demuestra un creciente conjunto de investigaciones y varios ejemplos reales de uso militar de la IA.

Entre los esfuerzos realizados hasta el momento para crear regulaciones para la IA, muchos ya contienen un lenguaje que promueve la supervisión y la participación humanas. Por ejemplo, La ley de inteligencia artificial de la UE estipula que los sistemas de IA de alto riesgo (por ejemplo, aquellos que ya están en uso y que identifican automáticamente a las personas mediante tecnología biométrica como un escáner de retina) deben ser verificados y confirmados por separado por al menos dos humanos que posean la competencia, la capacitación y la autoridad necesarias.

En el ámbito militar, el gobierno del Reino Unido reconoció la importancia de la supervisión humana en su respuesta de febrero de 2024 a un informe parlamentario sobre La IA en los sistemas de armasEl informe hace hincapié en el «control humano significativo» mediante la provisión de capacitación adecuada para los humanos. También destaca la noción de responsabilidad humana y dice que la toma de decisiones en acciones, por ejemplo, mediante drones aéreos armados, no puede ser transferida a máquinas.

Este principio se ha mantenido en gran medida hasta ahora. Los drones militares están controlados actualmente por operadores humanos y su cadena de mando, que son responsables de las acciones que realiza una aeronave armada. Sin embargo, la IA tiene el potencial de hacer que los drones y los sistemas informáticos que utilizan sean más capaces y autónomos.

Esto incluye sus sistemas de adquisición de objetivos. En estos sistemas, un software guiado por IA seleccionaría y apuntaría a los combatientes enemigos, lo que permitiría al humano aprobar un ataque contra ellos con armas.

Aunque no se cree que se haya generalizado todavía, la guerra en Gaza parece haber demostrado que ya se está utilizando esa tecnología. La publicación israelí-palestina La revista +972 informó Israel utiliza un sistema llamado Lavender, que se basa en inteligencia artificial y otros sistemas automatizados que rastrean la ubicación geográfica de los objetivos identificados.

Adquisición de objetivos

En 2017, el ejército estadounidense concibió un proyecto, llamado Mavencon el objetivo de integrar la IA en los sistemas de armas. Con el paso de los años, ha evolucionado hasta convertirse en un sistema de adquisición de objetivos. Según se informa, ha aumentado enormemente la eficiencia del proceso de recomendación de objetivos para las plataformas de armas.

De acuerdo con las recomendaciones del trabajo académico sobre la ética de la IA, existe un ser humano encargado de supervisar los resultados de los mecanismos de adquisición de objetivos como parte fundamental del ciclo de toma de decisiones.

Sin embargo, el trabajo sobre la psicología de cómo los humanos trabajan con las computadoras plantea cuestiones importantes a considerar. En un artículo revisado por pares de 2006La académica estadounidense Mary Cummings resumió cómo los humanos pueden terminar depositando una confianza excesiva en los sistemas de las máquinas y sus conclusiones, un fenómeno conocido como sesgo de automatización.

Esto tiene el potencial de interferir con el rol humano como controlador de la toma de decisiones automatizada si los operadores tienen menos probabilidades de cuestionar las conclusiones de una máquina.

En otro estudio En un artículo publicado en 1992, los investigadores Batya Friedman y Peter Kahn argumentaron que el sentido de la acción moral de los seres humanos puede verse disminuido cuando trabajan con sistemas informáticos, hasta el punto de que se consideran irresponsables de las consecuencias que surgen. De hecho, el artículo explica que las personas pueden incluso comenzar a atribuir un sentido de acción a los propios sistemas informáticos.

Dadas estas tendencias, sería prudente considerar si la confianza excesiva en los sistemas informáticos, junto con la posible erosión del sentido de la acción moral de los seres humanos, también podría afectar a los sistemas de adquisición de objetivos. Después de todo, los márgenes de error, aunque estadísticamente pequeños en el papel, adquieren una dimensión aterradora cuando consideramos el impacto potencial en las vidas humanas.

Las diversas resoluciones, acuerdos y leyes sobre IA ayudan a proporcionar garantías de que los humanos actuarán como un control importante de la IA. Sin embargo, es importante preguntarse si, después de largos períodos en el papel, un Podría producirse una desconexión donde los operadores humanos comienzan a ver personas reales como elementos en una pantalla.

Este artículo se vuelve a publicar desde La conversación bajo una licencia Creative Commons. Lea el Artículo original.