Editor Top
“Cómo se resolverá (o no) el problema de la alineación en el futuro es algo de lo que menos estamos seguros”, escribieron. Los modelos avanzados y de mejora personal podrían seguir nuestras necesidades y deseos o, advirtieron, «los raros casos de desalineación presentes en los modelos actuales podrían agravarse a medida que los modelos construyen a sus sucesores, volviéndose más frecuentes pero menos comprendidos hasta que perdamos el control de ellos. Es posible que no podamos construir, integrar y verificar las herramientas que necesitaríamos para comprender en qué línea de tendencia nos encontramos realmente».
Si bien la advertencia de Anthropic se centra en el futuro desarrollo de la IA, los analistas dicen que resalta las cuestiones de gobernanza que las empresas ya están empezando a enfrentar a medida que los agentes autónomos de IA pasan de responder preguntas a tomar medidas.
«La cuestión ya no es sólo si la IA da la respuesta correcta, sino si los sistemas autónomos toman la acción correcta, en el momento correcto, dentro de la autoridad adecuada», dijo Ashish Banerjee, analista principal senior de Gartner.
De la gobernanza de modelos a la gobernanza de agentes
La advertencia se produce en medio de una creciente inversión empresarial en IA agente.
