Es posible que los problemas de confiabilidad no se solucionen hasta que los entornos empresariales se adapten para ser más tecnológicamente hospitalarios para los sistemas Genai.
«El problema más profundo radica en cómo la mayoría de las empresas tratan al modelo como una caja mágica, esperando que se comporte perfectamente en un sistema desordenado, incompleto y anticuado», dijo Soumendra Mohanty, director de estrategia del proveedor de IA Tredence. «Los modelos de Genai alucinan no solo porque son defectuosos, sino porque se están utilizando en entornos que nunca se construyeron para la toma de decisiones de la máquina. Para superar esto, los CIO deben dejar de administrar el modelo y comenzar a administrar el sistema en torno al modelo. Esto significa repensar cómo fluye los datos, cómo la IA está incrustada en los procesos comerciales y cómo se toman, verifican y mejoran las decisiones».
Mohanty ofreció un ejemplo: «Un resumen de contrato no solo debe generar un resumen, sino que debe validar qué cláusulas para marcar, resaltar las secciones faltantes y extraer definiciones de fuentes aprobadas. Esta es la ingeniería de decisiones que define la ruta, los límites y las reglas para la producción de IA, no solo el indicador».