Herramienta de voz de IA ‘utilizada indebidamente’ como foro web de inundación de deepfakes

Una firma británica de inteligencia artificial dijo que estaba reconsiderando sus «salvaguardas» después de que su herramienta de audio se usara para clonar voces de celebridades y hacer que dijeran insultos racistas y homofóbicos.

Eleven Labs tuiteó el lunes que había sido un «fin de semana loco» y admitió haber encontrado «un número cada vez mayor de casos de uso indebido de clonación de voz» solo unos días después de lanzar una versión de demostración de la herramienta.

La firma no dio detalles de los casos, pero el foro de internet 4chan se inundó con deepfakes de voces de celebridades usando insultos racistas, sexistas y homofóbicos.

Muchas de las publicaciones mencionaron a Eleven Labs, y algunos usuarios afirmaron haber sido prohibidos por la empresa y otros proporcionaron enlaces a la versión de demostración de la herramienta.

Entre las celebridades que acudieron para recibir tratamiento en el foro, conocido por su humor ofensivo, se encontraban las estrellas de las películas de Harry Potter y los directores de cine Quentin Tarantino y George Lucas.

Eleven labs ha promocionado su tecnología de clonación de voz por tener «el potencial de revolucionar la forma en que se produce, entrega e interactúa el contenido en una variedad de industrias».

En su material publicitario, la firma produjo un video del actor Leonardo DiCaprio siendo interpretado por varias otras celebridades.

La firma tuiteó que su tecnología había sido «abrumadoramente aplicada al uso positivo», pero dijo que se necesitaban «salvaguardas adicionales».

Entre las opciones que estaba considerando estaba la verificación manual de cada solicitud de clonación o el endurecimiento de las verificaciones de cuentas.

Las herramientas de IA están entrenadas en vastas franjas de datos (imágenes, audio, texto o video) que les permiten predecir esencialmente qué salida le gustaría al usuario.

La herramienta de texto ChatGPT ha conquistado al mundo con su capacidad para generar ensayos a un nivel relativamente alto con solo unas pocas indicaciones.

Las herramientas de imagen como Dall-E 2 y Midjourney amenazan con revolucionar el mundo del arte y el diseño con su capacidad para generar imágenes complejas al estilo de artistas famosos.

Pero los críticos han expresado durante mucho tiempo el temor de que la tecnología de clonación, particularmente en audio y video, pueda generar una avalancha de falsificaciones y desinformación.

Y varias empresas de IA se enfrentan a demandas de personas que alegan que las empresas han infringido los derechos de autor al utilizar su material como base para los modelos de IA.

© 2023 AFP