GigaFlow Cache optimiza el tráfico en la nube, con una tasa de aciertos 51% más alta y un 90% de fallas más bajas para las inteligentes Smartnics programables

Una nueva forma de almacenar temporalmente la memoria, Gigaflowayuda a dirigir el tráfico pesado en los centros de datos en la nube causados ​​por la IA y las cargas de trabajo de aprendizaje automático, según un estudio dirigido por investigadores de la Universidad de Michigan.

El resultados fueron presentados en la conferencia internacional sobre Soporte arquitectónico para lenguajes de programación y sistemas operativos En Rotterdam, los Países Bajos.

Las crecientes demandas computacionales han llevado a las empresas a confiar en la computación en la nube fuera del sitio en lugar de su propia infraestructura, lo que hace que los centros de datos en la nube amplíen la capacidad de procesamiento con densidades centrales más altas y tecnologías de hardware más rápidas.

«Si bien las cargas de trabajo están cambiando, la computación en la nube también tiene más recursos disponibles para asumir más clientes a la vez en un solo servidor. Nuestra investigación se centra en la gestión del tráfico de datos aumentado», dijo Muhammad Shahbaz, profesor asistente de informática e ingeniería en UM y autor correspondiente del estudio.

La arquitectura nativa basada en el servidor típicamente utilizada para tareas cotidianas como navegación web, correo electrónico o intercambio de archivos no puede funcionar a esta escala porque dedica servidores físicos a tareas específicas, dejando recursos infrautilizados.

En su lugar, los entornos en la nube aprovechan las máquinas virtuales: hipermerinitores que implementan programas y aplicaciones, imitando una computadora física. Varias máquinas virtuales pueden funcionar a la vez en un solo servidor para maximizar la eficiencia.

Detrás de escena, los programas de software llamados Virtual Switches Direct Traffic, decidiendo a qué máquina virtual se acompañará una tarea. Los interruptores virtuales podrían ejecutarse una vez en una CPU con una velocidad de enlace (los datos de velocidad máxima se pueden transmitir, de 10 gigabits por segundo. Con tasas de enlace ahora en 100 a 400 gigabits por segundo y 800 gigabits por segundo en el horizonte, las CPU ya no pueden manejar el tráfico.

Para escalar a esta tasa de enlace, los centros de datos están incorporando hardware especializado llamado SmartNics (tarjetas de interfaz de red) que ayudan a acelerar las tareas de red. Es importante destacar que las Smartnics son programables, lo que permite el ajuste a tareas o necesidades de red específicas.

El programa de software GIGAFLOW tiene como objetivo mejorar el rendimiento de SmartNic al mejorar el almacenamiento en caché, un proceso informático que almacena copias de datos en una ubicación temporal y fácil de acceder.

Por lo general, los conmutadores virtuales solo almacenan en caché nuevos paquetes de datos, llamados flujos, a medida que llegan. Conocida como localidad temporal del tráfico, esta técnica proporciona acceso repetido a los mismos datos. Sin embargo, las cargas de trabajo a gran escala requieren más procesamiento para la generación de caché, desacelerando el tráfico.

En cambio, GigAflow almacena segmentos de reglas compartidas, procesos de procesamiento de múltiples flujos que los flujos tienen en común, en lugar de procesar flujos completos, que los autores llaman a la localidad consciente de la tubería. Esencialmente, el sistema identifica el orden de las reglas en la tubería, encuentra las reglas más utilizadas y hace que las fáciles de alcanzar.

«Creemos que GigAflow ofrece una nueva perspectiva sobre cómo podemos repensar el almacenamiento en caché para capturar nuevas localidades, lo que anteriormente no era posible debido a las limitaciones del hardware disponible», dijo Annus Zulfiqar, estudiante de doctorado de informática e ingeniería en UM y autor principal del estudio.

El programa aumenta significativamente la eficiencia de la memoria caché, entregando una tasa de aciertos de caché 51% más alta y hasta un 90% de fallas de caché más bajas. GigaFlow también captura un espacio de reglas 450 veces más grande, lo que significa un conjunto más amplio de reglas para dirigir el tráfico, mientras usa un 18% menos entradas de caché en comparación con las soluciones existentes.

«Muchos grupos, tanto académicos como industriales, habían acelerado OpenFlow y Open Vswitch en hardware a lo largo de los años, por lo que me impresionó que GigAflow obtuviera una tasa de accesorios de caché 51% más alta sin usar cachés más grandes. Es un resultado que no esperaba ir al proyecto», dijo Ben Pfaff, ingeniero jefe y cofofounder de Feldera Inc. y contribuyente a autor y contribuyente al estudio del estudio del estudio del estudio del estudio de la parte del estudio.

El enorme salto en el espacio de reglas fue posible aprovechando la localidad consciente de la tubería para dividir el caché en pasos de procesamiento de reglas más pequeños, permitiendo combinaciones de los pasos más pequeños de muchas maneras diferentes.

«La mayoría de las personas toman conceptos de sistemas establecidos, como el almacenamiento en caché, las localidades temporales o espaciales como sus únicas opciones. Ser capaz de romper estos supuestos basados ​​en tendencias emergentes en arquitecturas programables y trabajar desde un punto de vista no tradicional y, a veces, incluso contrario, abre oportunidades únicas», dijo Shahbaz.

Mirando hacia el futuro, el equipo de investigación planea explorar nuevas oportunidades para capturar localidades no tradicionales en el almacenamiento en caché del valor clave (KV) para LLM, ya que su inferencia es la carga de trabajo dominante en los centros de datos de hoy.

La Universidad de Purdue, Feldera Inc. y Politecnico di Milano también contribuyeron a esta investigación.