La marca de agua ChatGPT, DALL-E y otras IA generativas podrían ayudar a proteger contra el fraude y la información errónea

Poco después de que se filtraran los rumores sobre la acusación inminente del expresidente Donald Trump, aparecieron en línea imágenes que pretendían mostrar su arresto. Estas imágenes parecían fotos de noticias, pero eran falsas. Ellos eran creado por un sistema de inteligencia artificial generativa.

IA generativa, en forma de generadores de imágenes como DALL-E, a mitad de camino y Difusión establey generadores de texto como Bardo, ChatGPT, Chinchilla y Llama, ha explotado en la esfera pública. Al combinar algoritmos inteligentes de aprendizaje automático con miles de millones de piezas de contenido generado por humanos, estos sistemas pueden hacer cualquier cosa, desde crear una imagen inquietantemente realista a partir de un pie de foto, sintetizar un discurso en la voz del presidente Joe Biden, reemplazar la imagen de una persona con otra en un video , o escriba un artículo de opinión coherente de 800 palabras desde un título.

Incluso en estos primeros días, la IA generativa es capaz de crear contenido muy realista. Mi colega Sophie Nightingale y yo descubrimos que la persona promedio es incapaz de distinguir con seguridad una imagen de una persona real de una persona generada por IA. Si bien el audio y el video aún no han pasado por completo a través del valle inquietante (imágenes o modelos de personas que son inquietantes porque son cercanas pero no del todo realistas), es probable que lo hagan pronto. Cuando esto suceda, y está casi garantizado, será cada vez más fácil distorsionar la realidad.

En este nuevo mundo, será muy fácil generar un video de un CEO que dice que las ganancias de su empresa han bajado un 20 %, lo que podría generar una pérdida de miles de millones en participación de mercado, o generar un video de un líder mundial que amenaza con una acción militar. que podría desencadenar una crisis geopolítica, o insertar la imagen de cualquier persona en un video sexualmente explícito.

Los avances en la IA generativa pronto significarán que el contenido falso pero visualmente convincente proliferará en línea, lo que conducirá a un ecosistema de información aún más complicado. Una consecuencia secundaria es que los detractores podrán descartar fácilmente como evidencia de video real falsa de todo, desde violencia policial y violaciones de derechos humanos hasta un líder mundial quemando documentos de alto secreto.

A medida que la sociedad mira fijamente lo que seguramente es solo el comienzo de estos avances en IA generativa, existen intervenciones razonables y tecnológicamente factibles que pueden usarse para ayudar a mitigar estos abusos. Como un informático que se especializa en análisis forense de imágenescreo que un método clave es la marca de agua.

marcas de agua

hay un largo historia del marcado de documentos y otros artículos para probar su autenticidad, indicar la propiedad y la falsificación. Hoy, Getty Images, un archivo masivo de imágenes, agrega una marca de agua visible a todas las imágenes digitales de su catálogo. Esto permite a los clientes navegar libremente por las imágenes mientras protege los activos de Getty.

Las marcas de agua digitales imperceptibles también son utilizado para la gestión de derechos digitales. Se puede agregar una marca de agua a una imagen digital, por ejemplo, ajustando cada décimo píxel de la imagen para que su color (generalmente un número en el rango de 0 a 255) tenga un valor par. Debido a que este ajuste de píxeles es tan pequeño, la marca de agua es imperceptible. Y, debido a que es poco probable que este patrón periódico ocurra de forma natural y se puede verificar fácilmente, se puede usar para verificar la procedencia de una imagen.

Incluso las imágenes de resolución media contienen millones de píxeles, lo que significa que se puede incrustar información adicional en la marca de agua, incluido un identificador único que codifica el software de generación y una identificación de usuario única. Este mismo tipo de marca de agua imperceptible se puede aplicar a audio y video.

La marca de agua ideal es aquella que es imperceptible y además resistente a manipulaciones simples como recortar, cambiar el tamaño, ajustar el color y convertir formatos digitales. Aunque el ejemplo de la marca de agua de color de píxel no es resistente porque los valores de color se pueden cambiar, se han propuesto muchas estrategias de marca de agua que son sólidas, aunque no impermeables, a los intentos de eliminarlas.

Marca de agua e IA

Estas marcas de agua pueden ser integrado en los sistemas generativos de IA marcando con una marca de agua todos los datos de entrenamiento, después de lo cual el contenido generado tendrá la misma marca de agua. Esta marca de agua incorporada es atractiva porque significa que las herramientas generativas de IA pueden ser de código abierto, como el generador de imágenes. Difusión estable es, sin preocupaciones de que un proceso de marca de agua pueda eliminarse del software del generador de imágenes. La difusión estable tiene una función de marca de aguapero debido a que es de código abierto, cualquiera puede simplemente eliminar esa parte del código.

OpenAI es experimentando con un sistema de marca de agua Las creaciones de ChatGPT. Por supuesto, los caracteres de un párrafo no se pueden ajustar como un valor de píxel, por lo que la marca de agua de texto adopta una forma diferente.

La IA generativa basada en texto se basa en producir la siguiente palabra más razonable en una frase. Por ejemplo, comenzando con el fragmento de oración «un sistema de IA puede…», ChatGPT predecirá que la siguiente palabra debería ser «aprender», «predecir» o «comprender». Asociada con cada una de estas palabras hay una probabilidad que corresponde a la probabilidad de que cada palabra aparezca a continuación en la oración. ChatGPT aprendió estas probabilidades a partir de la gran cantidad de texto en el que se entrenó.

El texto generado se puede marcar con una marca de agua etiquetando en secreto un subconjunto de palabras y luego sesgando la selección de una palabra para que sea una palabra etiquetada sinónima. Por ejemplo, la palabra etiquetada «comprender» se puede usar en lugar de «entender». Al sesgar periódicamente la selección de palabras de esta manera, un cuerpo de texto se marca con una marca de agua en función de una distribución particular de palabras etiquetadas. Este enfoque no funcionará para tweets cortos, pero generalmente es efectivo con texto de 800 o más palabras, según los detalles específicos de la marca de agua.

Los sistemas de IA generativa pueden, y creo que deberían, marcar con agua todo su contenido, lo que permite una identificación posterior más fácil y, si es necesario, una intervención. Si la industria no hace esto voluntariamente, los legisladores podrían aprobar una regulación para hacer cumplir esta regla. Las personas sin escrúpulos, por supuesto, no cumplirán con estos estándares. Pero, si los principales guardianes en línea (las tiendas de aplicaciones de Apple y Google, Amazon, Google, los servicios en la nube de Microsoft y GitHub) hacen cumplir estas reglas al prohibir el software que no cumple con las normas, el daño se reducirá significativamente.

Firmar contenido auténtico

Abordando el problema desde el otro extremo, se podría adoptar un enfoque similar para autenticar las grabaciones audiovisuales originales en el punto de captura. Una aplicación de cámara especializada podría firmar criptográficamente el contenido grabado a medida que se graba. No hay forma de manipular esta firma sin dejar evidencia del intento. Luego, la firma se almacena en una lista centralizada de firmas confiables.

Aunque no se aplica al texto, el contenido audiovisual puede verificarse como generado por humanos. El Coalición para la Procedencia y Autenticación del Contenido (C2PA), un esfuerzo de colaboración para crear un estándar para la autenticación de medios, lanzó recientemente una especificación abierta para respaldar este enfoque. Con importantes instituciones como Adobe, Microsoft, Intel, BBC y muchas otras uniéndose a este esfuerzo, C2PA está bien posicionado para producir una tecnología de autenticación efectiva y ampliamente implementada.

La combinación de la firma y la marca de agua del contenido generado por humanos y generado por IA no evitará todas las formas de abuso, pero brindará cierta medida de protección. Cualquier salvaguarda deberá adaptarse y refinarse continuamente a medida que los adversarios encuentren formas novedosas de armar las últimas tecnologías.

De la misma manera que la sociedad ha estado luchando contra un batalla de décadas contra otras amenazas cibernéticas como el spam, el malware y el phishing, debemos prepararnos para una batalla igualmente prolongada para defendernos de las diversas formas de abuso perpetradas mediante la IA generativa.

Este artículo se vuelve a publicar de La conversación bajo una licencia Creative Commons. Leer el artículo original.