Apple se asocia con NVIDIA para acelerar los modelos de lenguaje de IA

Apple tiene detalles compartidos en colaboración con NVIDIA para mejorar en gran medida el rendimiento de los modelos de lenguaje grandes (LLM) mediante la implementación de una nueva técnica de generación de texto que ofrece mejoras sustanciales de velocidad para aplicaciones de IA.

Apple a principios de este año publicado y de código abierto Recurrent Drafter (ReDrafter), un enfoque que combina métodos de búsqueda de haz y atención dinámica de árbol para acelerar la generación de texto. La búsqueda por haz explora múltiples secuencias de texto potenciales a la vez para obtener mejores resultados, mientras que la atención en árbol organiza y elimina superposiciones redundantes entre estas secuencias para mejorar la eficiencia.

Apple ahora ha integrado la tecnología en el marco TensorRT-LLM de NVIDIA, que optimiza los LLM que se ejecutan en GPU NVIDIA, donde logró un «rendimiento de última generación», según Apple. La integración permitió que la técnica lograra un aumento de velocidad de 2,7 veces en los tokens generados por segundo durante las pruebas con un modelo de producción que contenía decenas de miles de millones de parámetros.

Apple dice que el rendimiento mejorado no sólo reduce la latencia percibida por el usuario, sino que también reduce el uso de la GPU y el consumo de energía. De Apple Blog de investigación sobre aprendizaje automático:

«Los LLM se utilizan cada vez más para impulsar aplicaciones de producción, y mejorar la eficiencia de la inferencia puede afectar los costos computacionales y reducir la latencia para los usuarios. Con el novedoso enfoque de ReDrafter para la decodificación especulativa integrado en el marco NVIDIA TensorRT-LLM, los desarrolladores ahora pueden beneficiarse de una generación de tokens más rápida. en GPU NVIDIA para sus aplicaciones LLM de producción».

Los desarrolladores interesados ​​en implementar ReDrafter pueden encontrar información detallada sobre ambos sitio web de Apple y Blog para desarrolladores de NVIDIA.