Editor Top
«La gobernanza clásica se creó para sistemas de registro y canales de análisis conocidos», dijo. «Ese mundo ya no existe. Ahora hay sistemas que crean sistemas: nuevos datos, nuevos resultados y muchas cosas se hacen sobre la marcha». En ese entorno, las auditorías puntuales crean una confianza falsa. Los controles centrados en los resultados no detectan dónde reside el riesgo real.
«No se requiere ninguna violación para que ocurra daño: los sistemas seguros aún pueden alucinar, discriminar o desviarse», dijo Butt, enfatizando que las entradas, no las salidas, son ahora la superficie de riesgo más descuidada. Esto incluye indicaciones, fuentes de recuperación, contexto y cualquier herramienta a la que los agentes de IA puedan acceder dinámicamente.
Qué hacer: Antes de redactar una política, establezca barreras de seguridad. Defina casos de uso prohibidos. Limitar los insumos de alto riesgo. Limite el acceso a las herramientas para los agentes. Y observe cómo se comportan los sistemas en la práctica. La política debería venir después de la experimentación, no antes. De lo contrario, las organizaciones codifican suposiciones que ya son erróneas.
