Descifrar el código de IA privada: el papel de la entropía en modelos de idiomas seguros

Los modelos de idiomas grandes (LLM) se han convertido rápidamente en una parte integral de nuestro panorama digital, impulsando todo, desde chatbots hasta generadores de códigos. Sin embargo, a medida que estos sistemas de IA dependen cada vez más de modelos propietarios y alojados en la nube, las preocupaciones sobre la privacidad del usuario y la seguridad de los datos han aumentado. ¿Cómo podemos aprovechar el poder de la IA sin exponer datos confidenciales?

Un estudio reciente, «Atención guiada por entropía para LLMS privados», de Nandan Kumar Jha, un Ph.D. Candidato del Centro de Ciberseguridad de la NYU (CCS), y Brandon Reagen, profesor asistente en el Departamento de Ingeniería Eléctrica e Informática y miembro de CCS, presenta un enfoque novedoso para hacer que la IA sea más segura.

El documento fue presentado en el Taller AAAI sobre inteligencia artificial que presenta la privacidad (PPAI 25) a principios de marzo y es disponible en el arxiv servidor de preimpresión.

Los investigadores profundizan en una propiedad fundamental, pero a menudo pasadas por alto, de las redes neuronales: entropía: la medida de la incertidumbre de la información dentro de un sistema. Su trabajo propone que al comprender el papel de la entropía en las arquitecturas de IA, podemos mejorar la privacidad, la eficiencia y la confiabilidad de los LLM.

La paradoja de la privacidad en AI

Cuando interactuamos con los modelos de IA, ya sea solicitando a un asistente virtual asesoramiento médico o utilizando herramientas de investigación legal con IA, nuestros datos de entrada generalmente se procesan en la nube. Esto significa que las consultas de los usuarios, incluso si están encriptadas en tránsito, se descifran en última instancia para su procesamiento por el modelo. Esto presenta un riesgo de privacidad fundamental: los datos confidenciales podrían estar expuestos, ya sea involuntariamente a través de fugas o maliciosamente a través de ataques cibernéticos.

Para diseñar LLM privados eficientes, los investigadores deben repensar la arquitectura en la que se basan estos modelos. Sin embargo, simplemente eliminar las no linealidades desestabiliza el entrenamiento e interrumpe la funcionalidad central de componentes como el mecanismo de atención.

«Las no linealidades son el alma de las redes neuronales», dice Jha. «Permiten a los modelos aprender representaciones ricas y capturar patrones complejos».

El campo de la inferencia privada (PI) tiene como objetivo resolver este problema al permitir que los modelos de IA funcionen directamente en datos cifrados, asegurando que ni el usuario ni el proveedor del modelo ven la entrada sin procesar. Sin embargo, PI viene con importantes costos computacionales. Los métodos de cifrado que protegen la privacidad también hacen que el cálculo sea más complejo, lo que lleva a una mayor latencia y consumo de energía, dos obstáculos principales para la implementación práctica.

Para abordar estos desafíos, la investigación de JHA y Reagen se centra en las transformaciones no lineales dentro de los modelos de IA. En el aprendizaje profundo, las funciones no lineales como las funciones de activación juegan un papel crucial en la configuración de cómo los modelos procesan la información. Los investigadores exploran cómo estas no linealidades afectan la entropía, específicamente, la diversidad de información que se pasa a través de diferentes capas de un modelo de transformador.

«Nuestro trabajo aborda directamente este desafío y adopta un enfoque fundamentalmente diferente de la privacidad», dice Jha. «Elimina las operaciones no lineales al tiempo que preserva la mayor cantidad de funcionalidad del modelo como sea posible».

Usando la entropía de Shannon como medida cuantitativa, revelan dos modos de falla clave que ocurren cuando se elimina la no linealidad:

1. Colapso de entropía (capas profundas): en ausencia de no linealidad, las capas posteriores en la red no conservan información útil, lo que lleva a un entrenamiento inestable.
2. Sobrecarga entrópica (capas tempranas): sin un control adecuado de entropía, las capas anteriores no utilizan eficientemente el mecanismo de atención múltiple (MHA), reduciendo la capacidad del modelo para capturar diversas representaciones.

Esta idea es nueva, sugiere que la entropía no es solo una abstracción matemática, sino un principio de diseño clave que determina si un modelo puede funcionar correctamente.

Un nuevo plan de IA

Armados con estos hallazgos, los investigadores proponen un mecanismo de atención guiado por la entropía que regula dinámicamente el flujo de información en los modelos de transformadores. Su enfoque consiste en la regularización de la entropía, una nueva técnica que evita que las capas tempranas se sientan abrumadas por información excesiva, y la normalización amigable con PI, métodos alternativos para la normalización de capas estándar que ayudan a estabilizar la capacitación mientras preservan la privacidad.

By strategically regulating the entropy of attention distributions, they were able to maintain coherent, trainable behavior even in drastically simplified models, which ensures that attention weights remain meaningful, avoiding degenerate patterns that commonly arise once nonlinearity is removed, where a disproportionate number of heads exhibit extreme behavior—collapsing to near one-hot attention (low entropy) or diffusing attention uniformly (high entropy)—both of que perjudica la capacidad del modelo para concentrarse y generalizar.

Este trabajo une la brecha entre la teoría de la información y el diseño arquitectónico, estableciendo la dinámica de la entropía como una guía de principios para desarrollar LLM de preservación de la privacidad eficientes. Representa un paso crucial para hacer que la IA de preservación de la privacidad sea más práctica y eficiente en aplicaciones del mundo real. Al cerrar la brecha entre la teoría de la información y el diseño de la arquitectura neural, su trabajo ofrece una hoja de ruta para desarrollar modelos de IA que no solo son más privados sino también computacionalmente eficientes.

El equipo tiene también de su implementación de origen abiertoinvitando a los investigadores y desarrolladores a experimentar con su enfoque guiado por la entropía.