in

Preguntas y respuestas: ejecutivo de Nvidia sobre cómo la ‘informática confidencial’ puede proteger a los agentes de IA

Preguntas y respuestas: ejecutivo de Nvidia sobre cómo la 'informática confidencial' puede proteger a los agentes de IA

Existe una variedad de preocupaciones de seguridad acerca de la inteligencia artificial (IA), especialmente cuando se trata del comportamiento de la IA agente. Pero hasta hace poco, el concepto de bloquear los modelos para evitar su manipulación no había recibido mucha atención.

Ahora ha surgido una tecnología de seguridad llamada “informática confidencial” que podría ayudar a resolver ese problema: protege los modelos de IA de los piratas informáticos restringiendo los modelos a usuarios autorizados. (También protege los datos dondequiera que estén: en el almacenamiento, cuando se mueven entre sistemas y cuando se accede a ellos).

Dado que muchos de los principales proveedores de hardware y nube defienden la informática confidencial para la IA, Mundo de la informática habló con Dion Harris, director senior de informática de alto rendimiento y soluciones de fábrica de inteligencia artificial de Nvidia, sobre qué hace la tecnología y cómo funciona.

ancho=»1024″ alto=»722″ tamaños=»auto, (ancho máximo: 1024px) 100vw, 1024px»>

Dion Harris, director senior de informática de alto rendimiento y soluciones de fábrica de inteligencia artificial de Nvidia.

NVIDIA

¿Por qué las organizaciones deberían preocuparse ahora por la informática confidencial? «El setenta por ciento de los datos existe fuera de la nube, en centros de datos locales y lagos de datos. Para ofrecer IA a partir de estos datos y al mismo tiempo mantener la seguridad, se necesita computación confidencial para desbloquear ese caso de uso para la IA empresarial».

¿Por qué la informática confidencial cobra repentinamente importancia en la era de la IA? “Las empresas quieren IA en datos confidenciales (registros de clientes, información médica, datos financieros) sin exponerlos en entornos de nube donde pierden el control.

«El cifrado tradicional protege los datos en reposo y en tránsito, pero no durante el cálculo. Cuando ejecuta un modelo de IA, debe descifrar los datos. Se encuentran en texto plano en la memoria, accesible para los administradores y operadores de la nube. La informática confidencial crea una zona confiable basada en hardware donde los datos se descifran solo cuando el cálculo lo necesita y luego se vuelven a cifrar inmediatamente.

«Esto permite a las empresas obtener valor de la IA sin comprometer la seguridad. Los servicios financieros, la atención sanitaria, el gobierno y las industrias reguladas la están adoptando».

¿Cómo está cambiando la informática confidencial con la IA agente? «Hemos pasado de la IA generativa a la IA agente, que se implementa y utiliza para resolver problemas empresariales reales. Para ofrecer capacidades de agente con la privacidad, la seguridad y el rendimiento necesarios en la empresa, la informática confidencial proporciona el desbloqueo.

«Podemos generar agentes, acceder a datos, aprovechar herramientas y generar trabajo realmente útil. Con la IA agente, la informática confidencial ayuda de dos maneras: protegiendo los datos y ayudando a diseñar la implementación y las cargas de trabajo. Es implementación, implementación y uso combinados».

¿Cómo funciona la informática confidencial? “El cifrado en reposo protege los datos almacenados. El cifrado en tránsito protege los datos que se mueven a través de las redes. El cifrado en uso es el problema: cuando calcula datos, debe descifrarlos en la memoria.

«La informática confidencial cifra los datos en la memoria y entre CPU y GPU. Un elemento dedicado en la GPU descifra la información sólo cuando es necesario para el cálculo, 100% en línea, con un impacto mínimo en el rendimiento».

¿Puedes explicar un ejemplo del mundo real? “La política operativa estándar de Apple durante años ha sido mantener la información privada en el dispositivo para evitar tener acceso a datos privados. Sin embargo, para aprovechar los modelos avanzados de IA, ya no caben en el dispositivo. Apple instituyó su Private Compute Cloud y ahora la están extendiendo a Google Cloud.

«Permítanme dar una idea hipotética y, con suerte, describir cómo funciona. Si tiene un usuario que desea cargar una transcripción médica de su médico, su sistema crea un entorno seguro y certificado. Envía una solicitud al servidor: valídese. Esa certificación dice: ‘Soy una GPU Nvidia. Este entorno es seguro. No ha sido manipulado’. Ahora, puedes enviar tu información a través de esa línea segura. La certificación remota permite que el dispositivo perimetral se asegure de que se envía a un entorno confiable.

«Los datos médicos llegan cifrados y permanecen cifrados hasta que llegan a la memoria de la GPU. Los motores de cálculo específicos del procesador descifran esa información sólo para utilizarla. El LLM la analiza y la resume. Luego la vuelve a cifrar y la envía de vuelta por cable.

«Obtienen las capacidades del modo IA del centro de datos: más grande, más avanzado y que ofrece más servicios. Pero también obtienen la seguridad y privacidad de Apple». [Private Cloud Compute] plataforma. Es lo mejor de ambos mundos: eficiencias e inteligencia de la IA del centro de datos con la seguridad PCC de Apple.

¿Qué impidió la adopción de la informática confidencial? “El principal desafío en el pasado fue el impacto significativo en el rendimiento. Cuando adoptó la informática confidencial, tuvo que sacrificar el rendimiento por la privacidad. Una reducción del rendimiento del 30% al 40% socavó la viabilidad económica de toda la solución. Si sacrifica tanto rendimiento, se reduce la capacidad de aprovechar al máximo el hardware que está implementando para entregar tokens o brindar un servicio de manera económica”.

¿Cómo se solucionó eso? «Con Blackwell y la nueva arquitectura de GPU, se puede implementar computación confidencial sin afectar el rendimiento. Se obtiene privacidad y rendimiento, un escenario en el que todos ganan.

«El rendimiento ahora se traduce directamente en economía. Se obtiene una utilización completa del hardware, lo cual es importante para entregar tokens o servicios a escala. Cuando construimos Blackwell, hicimos de la informática confidencial una característica del sistema de primera clase para ofrecer no sólo la seguridad, sino también el rendimiento que requiere el mercado».

¿Dónde se está acelerando la adopción? «Las empresas están pensando en la nube. Los creadores de modelos no pueden exponer las API, las empresas las personalizan para su negocio. Los modelos híbridos locales y en la nube, donde los creadores brindan servicios detrás de los muros de la empresa, requieren confianza cero. Ya no estamos en una infraestructura de propiedad exclusiva.

“Para 2030, [billions of dollars] se espera en casos de uso de informática confidencial. Está surgiendo como una infraestructura esencial para la adopción de la IA en toda la industria. Para las organizaciones que utilizan infraestructura en la nube, implementan IA en datos confidenciales u operan bajo requisitos regulatorios, la informática confidencial se está volviendo esencial”.

¿Qué deberían hacer las organizaciones? «El problema de rendimiento está resuelto. La tecnología está lista, los ecosistemas están construidos, los socios lo habilitan. Si desea implementar IA agente en datos confidenciales, proteger la privacidad del cliente, cumplir con los requisitos regulatorios y mantener la seguridad en entornos híbridos, necesita computación confidencial en su estrategia.

«La mayoría de los clientes comienzan con una licencia de desarrollador, validan el rendimiento y la seguridad, luego migran a una licencia comercial. Socios como Red Hat y Fortanix integran estos mecanismos dentro de sus plataformas. Google Cloud los ofrece a través de sus servicios.

«Comience con una prueba de concepto. Valide que funcione. Planifique la implementación. Las organizaciones obtienen una ventaja competitiva al proteger la IA en datos confidenciales».

Fuente

Acelere las implementaciones de su infraestructura hasta 4 veces con el modo AWS CloudFormation Express | Servicios web de Amazon

El popular programa Steam Wallpaper elimina la aplicación por problemas de malware

El popular programa Steam Wallpaper elimina la aplicación por problemas de malware