Editor Top
Un desglose en la gobernanza de la IA en Deloitte Australia ha obligado al gigante de la consultoría a reembolsar parte de un contrato gubernamental de $ 440,000 (US $ 290,000) de la UA de AU, se incluyeron las fabricaciones generadas por IA en un informe final, exponiendo vulnerabilidades que los analistas dijeron que son sintomáticos de los desafíos más amplios a medida que las empresas de AI se acumulan rápidamente la adopción AI.
Deloitte usó Operai GPT-4O para ayudar a producir una revisión independiente de 237 páginas para el Departamento de Empleo y Relaciones Laborales (DEWR) de Australia, pero no pudo detectar citas académicas fabricadas y referencias judiciales inexistentes antes de la entrega. La firma tampoco reveló su uso de IA hasta después de que se descubrieron errores.
El gobierno australiano le dijo a ComputerWorld que Deloitte «ha confirmado que algunas notas al pie y las referencias eran incorrectas» y acordó pagar la entrega final bajo su contrato. El Secretario proporcionó una actualización, señalando que se ha publicado una versión correcta de la declaración de garantía y el informe final.
«El monto del reembolso se revelará cuando el aviso de contrato se actualice en Austender», dijo un portavoz de DEWR.
«Es sintomático de desafíos más amplios a medida que las empresas escalan la IA sin gobernanza madura», dijo Charlie Dai, vicepresidente y analista principal de Forrester. «La adopción rápida a menudo supera los controles y hace que incidentes similares probablemente en los dominios regulados y de alto riesgo».
A pesar de los errores, «la sustancia de la revisión independiente se conserva y no hay cambios en las recomendaciones», agregó el portavoz de DEWR.
Detección a través de la experiencia en dominio
El Dr. Christopher Rudge, un investigador de la Universidad de Sydney especializado en derecho de salud y bienestar, descubrió las fabricaciones al revisar el informe. Reconoció a los autores citados como colegas que nunca habían escrito las obras atribuidas.
«Una de las formas más fáciles de saber era que conocía personalmente a los autores, así que sabía que no habían escrito los libros a los que fueron atribuidos», dijo Rudge a ComputerWorld. «Las obras estaban casi demasiado perfectamente personalizadas y demasiado a medida para el texto, y esa era una bandera roja».
Sam Higgins, vicepresidente y analista principal de Forrester, dijo que el incidente sirvió como «un recordatorio oportuno de que la adopción empresarial de IA generativa está superando la madurez de los marcos de gobernanza diseñados para gestionar sus riesgos».
«La presencia de citas fabricadas y legal mal citada plantea serias preguntas sobre diligencia, transparencia y responsabilidad en el trabajo entregado por consultores», dijo Higgins.
Responsabilidad compartida por el control de calidad
El proveedor y el cliente comparten la responsabilidad, argumenta Sanchit Vir Gogia, analista jefe y CEO de Greyhound Research. «Los clientes no pueden reclamar sorpresa cuando las herramientas que usan en sí mismas aparecen internamente en el flujo de trabajo de un proveedor», dijo. «¿Por qué no se hizo ese cheque antes de que el informe fuera público? La responsabilidad funciona en ambos sentidos».
El informe revisadopublicado el viernes pasado, incluyó una divulgación ausente del original, reconociendo que Deloitte usó la herramienta AI para abordar las «brechas de trazabilidad y documentación».
La divulgación a menudo se queda atrás porque las empresas enmarcan el uso de IA como «herramientas internas» en lugar de material para los resultados, creando transparencia y brechas de confianza, dijo Dai.
Higgins dijo que la divulgación post-hoc socavó la propia orientación del gobierno australiano que requería transparencia cuando la IA se usa en la toma de decisiones. «La divulgación post-hoc de Deloitte establece un precedente pobre para el uso responsable de la IA en los compromisos gubernamentales», dijo.
El incidente ocurrió como Deloitte anunciado Una asociación importante para implementar Claude AI de Anthrope a sus casi 500,000 empleados en todo el mundo.
Deloitte no respondió de inmediato a una solicitud de comentarios.
Modernización de contratos de proveedores
Las fallas de divulgación y las desgloses de control de calidad en el caso de Deloitte apuntan a las brechas fundamentales en cómo las organizaciones contratan a los proveedores que utilizan herramientas de IA.
Rudge argumentó que las organizaciones que implementan herramientas de IA pueden necesitar institucionalizar la revisión de expertos de la materia como una puerta de calidad final obligatoria, incluso cuando la IA promete un costo significativo y un ahorro de tiempo.
«Al final de cualquier proyecto asistido por AII, o cualquier proyecto significativo en el que la IA haya sido dominante la herramienta de fabricación de conocimiento, las empresas u organizaciones aún podrían necesitar emplear a un corrector de pruebas humanas que sea un experto en el área en el área para verificar los documentos», dijo.
Rydge sugirió que la economía aún podría favorecer la adopción de la IA incluso con la revisión de expertos incorporada. «Tal vez las cosas serán mucho más baratas de producir en el mundo del conocimiento que el costo de un experto en la materia que revisa el documento, el informe o el producto solo se entenderán como un pequeño costo», dijo Rudge. «Pero la investigación de los profesionales debería seguir siendo el estándar de oro».
Gogia dijo que la mayoría de los acuerdos actuales aún asumen la autoría solo por humanos a pesar de que la automatización ahora sustenta gran parte del trabajo. «Cuando algo sale mal, ambas partes luchan para decidir quién tiene la culpa: el consultor, el modelo o el revisor del cliente que lo firmó», dijo.
«Los líderes tecnológicos deben preguntar explícitamente sobre la participación de la IA, los pasos de validación y los procesos de manejo de errores», dijo Dai. «También deben buscar claridad sobre la revisión humana, la verificación de la fuente y la responsabilidad de la precisión objetiva antes de aceptar entregables».
Higgins describió las preguntas clave: «¿Qué herramientas generativas de IA se están utilizando y para qué partes del entregable? ¿Qué salvaguardas están en su lugar para detectar y corregir alucinaciones?
Construyendo marcos de gobierno maduros
Más allá de la gestión de proveedores, los analistas dijeron que las organizaciones necesitan marcos de gobierno integrales que traten la IA como un riesgo sistémico que requiere políticas formales y supervisión interfuncional.
Dai dijo que los CIO y los equipos de adquisición deben incluir cláusulas que obligan a la divulgación de IA, estándares de garantía de calidad, responsabilidad por errores de IA y derechos de auditoría. «También deben buscar alineación con marcos como NIST AI RMF o ISO/IEC 42001 para la gestión de riesgos», dijo.
Higgins dijo que las disposiciones deben requerir la divulgación inicial, exigir revisión humana, definir la responsabilidad por errores de IA e incluir los derechos de auditoría.
«Los líderes de TI deben tratar la IA como un riesgo sistémico, no solo una herramienta de productividad», dijo Dai. «Deben implementar la gobernanza de los proveedores de IA, hacer cumplir la divulgación e integrar el QA robusto para evitar las consecuencias de reputación y cumplimiento».
Gogia dijo que vio un modelo emergente donde las juntas de revisión conjunta incluyen representantes de clientes y proveedores, asegurando que se examine el contenido producido por AI antes del respaldo. «Así es como se ve la madurez, no la ausencia de IA, sino la presencia de evidencia», dijo. «La gobernanza en la Edad de AI recompensará la colaboración, no con la confrontación».
