Microsoft está realizando actualizaciones para Traductor y otra IA azul servicios impulsados por una nueva familia de modelos de inteligencia artificial que sus investigadores han desarrollado llamada código Zque ofrecen el tipo de beneficios de rendimiento y calidad que tienen otros modelos de lenguaje a gran escala, pero se pueden ejecutar de manera mucho más eficiente.
“Nuestro objetivo es ayudar a todas y cada una de las organizaciones del planeta a comunicarse mejor, y para lograr ese objetivo hay dos dimensiones realmente importantes: queremos que la calidad de las traducciones sea la mejor posible y queremos admitir tantos idiomas como sea posible. posible”, dijo Xuedong Huang, miembro técnico de Microsoft y director de tecnología de Azure AI.
Z-code aprovecha los elementos lingüísticos compartidos en varios idiomas a través del aprendizaje por transferencia, que aplica el conocimiento de una tarea a otra tarea relacionada, para mejorar la calidad de la traducción automática y otras tareas de comprensión del lenguaje. También ayuda a extender esas capacidades más allá de los idiomas más comunes en todo el mundo a idiomas subrepresentados que tienen menos datos de capacitación disponibles.
“Con Z-code realmente estamos logrando un progreso increíble porque estamos aprovechando el aprendizaje por transferencia y el aprendizaje multitarea a partir de datos monolingües y multilingües para crear un modelo de lenguaje de última generación que creemos que tiene la mejor combinación de calidad, rendimiento y eficiencia que podemos ofrecer a nuestros clientes”, dijo Huang.
Estos modelos utilizan un enfoque escaso de «Mezcla de expertos» que es más eficiente de ejecutar porque solo necesita involucrar una parte del modelo para completar una tarea, a diferencia de otras arquitecturas que tienen que activar un modelo de IA completo para ejecutar cada solicitud. . Esta arquitectura permite una escala masiva en la cantidad de parámetros del modelo mientras mantiene constante la cantidad de cómputo.
Para poner estos modelos en producción, Microsoft está utilizando GPU NVIDIA y servidor de inferencia Triton para implementarlos y escalarlos de manera eficiente para una inferencia de alto rendimiento.
Microsoft ha implementado recientemente modelos de código Z para mejorar las tareas comunes de comprensión del lenguaje, como el reconocimiento de entidades de nombre, el resumen de texto, la clasificación de texto personalizado y la extracción de frases clave en sus servicios de Azure AI. Pero esta es la primera vez que una empresa demuestra públicamente que puede utilizar esta nueva clase de modelos Mixture of Experts para potenciar los productos de traducción automática.
El nuevo modelo de traducción basado en código Z ya está disponible, inicialmente por invitación, para los clientes que utilizan la traducción de documentos en Traductor, un programa de Microsoft Servicio cognitivo de Azure que es parte de Azure AI.
Los modelos de código Z de Microsoft mejoraron constantemente la calidad de la traducción en comparación con los modelos de producción actuales, según métricas comunes de la industria. En contraste con los enfoques típicos de aprendizaje por transferencia multilingüe, que generalmente muestran mejoras en la calidad de la IA en idiomas que tienen menos ejemplos de traducción directa disponibles para la capacitación, los modelos de Z-code Mixture of Experts muestran ganancias constantes incluso en los idiomas más grandes.

Evaluadores humanos en una prueba ciega encargada por Microsoft encontraron que los modelos Z-code Mixture of Experts mejoraron las traducciones entre idiomas, con una ganancia promedio del 4%. Por ejemplo, los modelos mejoraron las traducciones del inglés al francés en un 3,2 %, del inglés al turco en un 5,8 %, del japonés al inglés en un 7,6 %, del inglés al árabe en un 9,3 % y del inglés al esloveno en un 15 %.
Creación de sistemas de IA más potentes e integradores
Z-code es parte de Microsoft más grande código XYZ iniciativa que busca combinar modelos de texto, visión, audio y múltiples idiomas para crear sistemas de IA más potentes e integradores que puedan hablar, oír, ver y comprender mejor a las personas.
En los últimos cinco años, Microsoft ha desarrollado modelos que han igualado el desempeño humano en reconocimiento de voz conversacional, máquina traductora, subtítulos de imagen, Comprensión del lenguaje natural SuperGLUE y respuesta a preguntas de sentido comun. Estos avances proporcionan la base para realizar sistemas de IA más ambiciosos que pueden lograr un aprendizaje multisensorial y multilingüe más cercano a cómo las personas aprenden y entienden, dijo Huang.
“Esas son las piezas, los bloques de construcción que estamos utilizando para construir una inteligencia verdaderamente diferenciada… y para formar sistemas de producción que sean rentables”, dijo Huang.
Los modelos de código Z se desarrollaron como parte de Microsoft IA a escala y turing iniciativas, que buscan desarrollar modelos grandes que están entrenados previamente en grandes cantidades de datos textuales para comprender los matices del lenguaje, que pueden integrarse en múltiples productos de Microsoft y también ponerse a disposición de los clientes para sus propios usos.
El mismo modelo subyacente se puede ajustar para realizar diferentes tareas de comprensión del idioma, como traducir entre idiomas, resumir un discurso, ofrecer formas de completar una oración o generar tweets sugeridos, en lugar de tener que desarrollar modelos separados para cada uno de esos propósitos limitados.