¿Es inevitable el conflicto ai-humano violento?

¿Le preocupa que la inteligencia artificial y los humanos vayan a la guerra? Los expertos en IA son. En 2023, un grupo de pensadores de élite firmó en el Centro de seguridad de IA La declaración de que «mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social, como pandemias y guerra nuclear».

En una encuesta Publicado en 2024Del 38% al 51% de los investigadores de IA de nivel superior asignaron una probabilidad de al menos el 10% a la declaración «AI avanzada que conduce a resultados tan malos como la extinción humana».

La preocupación no se trata de los grandes modelos de idiomas (LLM) de hoy, que son esencialmente enormes máquinas autocompletas, sino de Inteligencia general avanzada (AGI): todavía agentes hipotéticos de planificación a largo plazo que pueden sustituir el trabajo humano en una amplia gama de sistemas económicos de la sociedad.

Por su cuenta, podrían diseñar sistemas, implementar una amplia gama de recursos y planificar objetivos complejos. Tal AIS podría ser enormemente útil en el mundo humano, realizando y optimizando la generación de energía, extracción de recursos, producción industrial y agrícola, y muchas otras funciones que los humanos necesitan para prosperar. Esperamos que estas agis sean amigables con la humanidad y la tierra, pero no hay garantía.

AIS avanzado podría desarrollar objetivos que nos parezcan extraños, pero beneficiosos en su propio pensamiento de una manera que no entendemos.

Dependiendo de quién está desarrollando la IA (tos, ingenieros altamente técnicos, tos), puede tomar poca atención de nuestros valores humanos culturales, históricos y compartidos. Podría mejorarse recursivamente, desarrollar objetivos que no entendemos y extorsionar a los humanos para que lo ayuden.

Con tales pensamientos en mente, Simon Goldstein, de la Universidad de Hong Kong, analizó la posibilidad de que AIS y los humanos entren en conflictos violentos y representen un riesgo catastrófico para la humanidad. Su papel es publicado en el diario Ai y sociedad.

Es probable que los objetivos de la IA, generalmente significan, en este artículo, AGI, entrarán en conflicto con los objetivos de los humanos, porque los desarrolladores crearán AIS para tener objetivos para que superen a los humanos. Por ejemplo, AIS ya superan a los humanos a los goles de ganar el ajedrez y el juego de Go. Y los diseños de IA ya a menudo no se «alinean» con los objetivos o la exhibición humanos Comportamientos no deseados.

Cuanto más poder, autonomía y recursos estén disponibles para la IA, más puede hacer para los humanos. En cualquier caso, los AIS no tienen objetivos explícitamente dados: aprenden indirectamente de los materiales existentes, y son esencialmente una caja negra.

El entorno de capacitación de una IA puede no generalizarse cuando se libera en un nuevo entorno. ¿Podría una IA que mira el entorno del mundo decidir que los humanos han sido negativos netos para la salud y la vida de las especies no humanas y deciden que los humanos deben ser eliminados?

El artículo de Goldstein se centra en tres características de AGIS: «(i) tienen objetivos conflictivos con la humanidad, (ii) pueden participar en un razonamiento estratégico y (iii) tienen un grado de poder a nivel humano».

A medida que AIS mejoran en las capacidades, Goldstein espera que los gobiernos en algún momento tomen el control de los más poderosos de ellas, nacionalizando a personas como OpenAi de los Estados Unidos y Alibaba en China.

Por ejemplo, le dijo a Phys.org que «si los modelos de OpenAi fueran responsables del 50% del mercado laboral de los Estados Unidos, esperaría que el gobierno de los Estados Unidos nacionalice OpenAi y distribuya sus alquileres de monopolio como UBI». (Los alquileres de monopolio son las ganancias excesivas que un monopolista gana como resultado de su monopolio. Ubi representa el ingreso básico universal, una cantidad regular e incondicional de dinero que los ciudadanos reciben de su gobierno, probablemente necesarios como AIS y robots cada vez más sin trabajo a las personas).

A medida que los AI se vuelven más capaces y asuman más tareas, tal vez en un moda no linealsu comprensión de infraestructuras vitales podría ponerlas en una posición de negociación. Buen mercado de valores que tienes allí. Sería una pena que algo le hubiera pasado.

Sus capacidades podrían replicarse y distribuirse en la nube y en máquinas reales, lo que significa que desconectar una IA deshonesta no terminaría el problema. Diferentes IA podrían incluso cooperar, con humanos desconocidos de colaboraciones.

Goldstein escribe que, a medida que avanzan AGIS, los humanos ni siquiera conocen sus capacidades u objetivos, en la forma en que generalmente conocen el objetivo de su enemigo en las situaciones de combate sin AI del mundo real. Una IA podría no respetar las fronteras nacionales, la geografía, las ciudades humanas o los prisioneros de guerra, ya que los humanos están acostumbrados, limita que Goldstein llama «puntos focales».

Podría buscar, alentar o forzar las guerras civiles. O es posible que no busque poseer ninguna propiedad o gente en absoluto y «luchar» de nuevas maneras, similar a cómo los motores de ajedrez ocasionalmente hacen movimientos extraños que resultan ser ganadores.

Una IA combativa podría nunca estar de acuerdo con una tregua. Puede o no formar un gobierno y, por ejemplo, podría coaccionar los fondos para que una fuerza policial brinde su propia seguridad.

¿Deberían AIS y los humanos tener objetivos contradictorios? ¿El conflicto se volverá violento? Para analizar las preguntas, Goldstein utiliza un «modelo de guerra de negociación» que fue introducido por primera vez por James Feron en 1995.

El modelo se centra en las causas de la guerra que son «estructurales», relacionadas con el poder de ambas partes a nivel nacional, en lugar de «individual», que se refiere a los objetivos de líderes particulares. Este modelo sugiere un sesgo para la paz en los conflictos humanos humanos.

Cuando Goldstein aplicó el modelo a los conflictos ai-humanos, argumenta que «la consideración de este modelo no da fuertes razones para esperar la paz entre la IA y la humanidad. La predicción de la paz solo se aplica cuando las partes están de acuerdo en las posibilidades de la victoria y pueden comprometerse de manera creíble a las gangas».

En tal conflicto, Goldstein identifica dos obstáculos principales para la paz: el conflicto tendrá fallas de información y problemas de compromiso.

Las capacidades de IA son muy difíciles de medir. Es muy probable que haya una asimetría en la información disponible para cada lado de un conflicto ai-humano, y cada lado podría analizar la información de diferentes maneras y, por lo tanto, estar en desacuerdo sobre la posibilidad de victoria.

Resolver este problema de información no es tan «simple» como desarrollar el Enigma Como lo hicieron Alan Turing y sus colegas en la Segunda Guerra Mundial. Además, si las capacidades de IA están creciendo a través de sus propios esfuerzos o con la ayuda de las personas, las capacidades emergentes pueden sorprender e incluso abrumar a los humanos.

«El problema es que existe un riesgo sustancial de que las causas habituales de paz entre las partes en conflicto estén ausentes de la IA/conflicto humano».

Goldstein considera muchas facetas que podrían surgir en los conflictos de Ai-Human y concluye que la IA y la humanidad tienen relativamente probabilidades de ir a la guerra «… una vez que Agis controlan una gran fracción de los recursos económicos del mundo».

Más concretamente, dijo: «El punto en el que el conflicto es racional será cuando su [AGI’s] El control sobre los recursos es lo suficientemente grande como para que su posibilidad de éxito en el conflicto supere nuestras ventajas en el diseño de AGI para que se cierren «.

¿Ficción? Geoffrey Hinton, el científico informático británico-canadiense que ganó el Premio Nobel de Física 2024 por su trabajo en IA, dijo el año pasado Hubo una posibilidad de «10% a 20%» de que la IA conduzca a la extinción humana en las próximas tres décadas. La sesión de la sesión no ayudará.

© 2025 Science X Network