En la situación de AWS, AWS dijo que el primer error del ingeniero fue no comprender los privilegios de su propio sistema y, por lo tanto, qué capacidades y acceso le habían dado al agente. Eso sugiere un buen procedimiento: crear cuentas con acceso mínimo y luego iniciar sesión eso cuenta de bajo nivel al crear el agente.
Eso no garantizará que el agente obedezca sus instrucciones, pero al menos limitará el daño que puede causar si se vuelve rebelde.
Le pregunté a Claude: ¿quién mejor que un LLM para saber hablar con un modelo de lenguaje grande (LLM)? — para obtener consejos sobre cómo hablar con agentes. «En lugar de implicar restricciones, indíquelas directamente. En lugar de ‘manténgalo apropiado’, diga: «No incluya violencia, malas palabras o contenido para adultos». Cuanto más preciso sea el límite, más fácil será seguirlo de manera consistente”.


