Desempeño competitivo y éxito de referencia
En las pruebas internas, los modelos OLMo de AMD obtuvieron buenos resultados frente a modelos de código abierto de tamaño similar, como TinyLlama-1.1B y OpenELM-1_1B, en pruebas de razonamiento general y multitarea, afirmó la compañía. Específicamente, su rendimiento aumentó en más de un 15 % en tareas en GSM8k, una ganancia sustancial atribuida al ajuste fino supervisado de múltiples fases y a la optimización de preferencias directas (DPO) de AMD. ‘
En las pruebas de chat de múltiples turnos, afirmó AMD, OLMo mostró una ventaja del 3,41% en AlpacaEval 2 Win Rate y una ganancia del 0,97% en MT-Bench sobre sus competidores de código abierto más cercanos.
Sin embargo, al observar el panorama más amplio de LLM, la GH200 de Nvidia Superchip Grace Hopper y la GPU H100 siguen siendo líderes en procesamiento LLM, particularmente para cargas de trabajo de IA grandes y multifacéticas. El enfoque de Nvidia en innovaciones como el enlace C2C, que acelera la transferencia de datos entre su CPU y GPU, le da una ventaja, brindando una ventaja de velocidad para tareas de inferencia de alta demanda, como los sistemas de recomendación.
GIPHY App Key not set. Please check settings