Nuevo: ENA Express: latencia de red y rendimiento por flujo mejorados en EC2 | Servicios web de Amazon

Sabemos que siempre puede hacer un gran uso de todo el ancho de banda y el rendimiento de la red disponibles, y hemos hecho todo lo posible para proporcionárselo. A lo largo de los años, el ancho de banda de la red ha crecido desde los 250 Mbps del original m1 instancia a 200 Gbps en la más nueva m6in instancias. Además del ancho de banda sin procesar, también hemos introducido funciones de red avanzadas que incluyen redes mejoradas, adaptadores de red elásticos (ENA) y (para cargas de trabajo de HPC estrechamente acopladas) adaptadores de tejido elástico (EFA).

Presentamos ENA Express
Hoy lanzamos ENA Express. Construyendo sobre el Datagrama confiable escalable (SRD) que ya impulsa los adaptadores de tela elástica, ENA Express reduce la latencia P99 de los flujos de tráfico hasta en un 50 % y la latencia P99.9 hasta en un 85 % (en comparación con TCP), al mismo tiempo que aumenta el ancho de banda máximo de flujo único de 5 Gbps a 25 Gbps. En pocas palabras, obtiene mucho más ancho de banda por flujo y mucha menos variabilidad.

Puede habilitar ENA Express en ENA nuevos y existentes y aprovechar este rendimiento de inmediato para el tráfico TCP y UDP entre c6gn instancias que se ejecutan en la misma zona de disponibilidad.

Uso de ENA Express
Usé un par de c6gn instancias para configurar y probar ENA Express. Después de lanzar las instancias, utilicé la Consola de administración de AWS para habilitar ENA Express para ambas instancias. Encuentro cada ENI, lo selecciono y elijo Administrar ENA Express desde el Comportamiento menú:

habilito ENA Express y ENA Exprés UDP y haga clic Ahorrar:

Entonces puse el Unidad máxima de transmisión (MTU) a 8900 en ambas instancias:

$ sudo /sbin/ifconfig eth0 mtu 8900

yo instalo iperf3 en ambas instancias, e inicie la primera en modo servidor:

$ iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------

Luego ejecuto el segundo en modo cliente y observo los resultados:

$ iperf3 -c 10.0.178.46
Connecting to host 10.0.178.46, port 5201
[  4] local 10.0.187.74 port 35622 connected to 10.0.178.46 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  2.80 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   1.00-2.00   sec  2.81 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   2.00-3.00   sec  2.80 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   3.00-4.00   sec  2.81 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   4.00-5.00   sec  2.81 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   5.00-6.00   sec  2.80 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   6.00-7.00   sec  2.80 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   7.00-8.00   sec  2.81 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   8.00-9.00   sec  2.81 GBytes  24.1 Gbits/sec    0   1.43 MBytes
[  4]   9.00-10.00  sec  2.81 GBytes  24.1 Gbits/sec    0   1.43 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  28.0 GBytes  24.1 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  28.0 GBytes  24.1 Gbits/sec                  receiver

los conductor de ENA informes sobre métricas que puedo revisar para confirmar el uso de SRD:

ethtool -S eth0 | grep ena_srd
     ena_srd_mode: 3
     ena_srd_tx_pkts: 25858313
     ena_srd_eligible_tx_pkts: 25858323
     ena_srd_rx_pkts: 2831267
     ena_srd_resource_utilization: 0

Las métricas funcionan de la siguiente manera:

• ena_srd_mode indica que SRD está habilitado para TCP y UDP.
• ena_srd_tx_pkts indica el número de paquetes que se han transmitido a través de SRD.
• ena_srd_eligible_pkts denota el número de paquetes que fueron elegibles para la transmisión a través de SRD. Un paquete es elegible para SRD si ENA-SRD está habilitado en ambos extremos de la conexión, ambas conexiones residen en la misma zona de disponibilidad y el paquete usa UDP o TCP.
• ena_srd_rx_pkts indica el número de paquetes que se han recibido a través de SRD.
• ena_srd_resource_utilization indica el porcentaje de recursos de la tarjeta de red Nitro asignados que están en uso y es proporcional al número de conexiones SRD abiertas. Si este valor se aproxima constantemente al 100 %, es posible que se justifique escalar horizontalmente a más instancias o escalar a un tamaño de instancia mayor.

Cosa que saber
Aquí hay un par de cosas que debe saber sobre ENA Express y SRD:

Acceso – Usé Management Console para habilitar y probar ENA Express; También está disponible la compatibilidad con CLI, API, CloudFormation y CDK.

Retroceder – Si un paquete TCP o UDP no es elegible para la transmisión a través de SRD, simplemente se transmitirá de la forma habitual.

UDP – SRD aprovecha múltiples rutas de red y “rocía” paquetes a través de ellas. Esto normalmente presentaría un desafío para las aplicaciones que esperan que los paquetes lleguen más o menos en orden, pero ENA Express ayuda al volver a ordenar los paquetes UDP antes de entregárselos, lo que elimina la carga de su aplicación. Si ha creado su propia capa de confiabilidad sobre UDP, o si su aplicación no requiere que los paquetes lleguen en orden, puede habilitar ENA Express para TCP pero no para UDP.

Tipos y tamaños de instancia – Estamos lanzando con apoyo para el 16xgrande tamaño de la c6gn instancias, con familias de instancias y tamaños adicionales en proceso.

Utilización de recursos – Como insinué anteriormente, ENA Express utiliza algunos recursos de la tarjeta Nitro para procesar paquetes. Este procesamiento también agrega algunos microsegundos de latencia por paquete procesado y también tiene un efecto moderado pero medible en la cantidad máxima de paquetes que una instancia en particular puede procesar por segundo. En situaciones donde las altas tasas de paquetes se combinan con tamaños de paquetes pequeños, ENA Express puede no ser apropiado. En todos los demás casos, simplemente puede habilitar SRD para disfrutar de un mayor ancho de banda por flujo y una latencia constante.

Precios – No hay cargo adicional por el uso de ENA Express.

Regiones – ENA Express está disponible en todas las regiones comerciales de AWS.

Todo sobre SRD
Podría escribir una publicación de blog completa sobre SRD, ¡pero mis colegas se me adelantaron! Aquí hay algunos recursos excelentes para ayudarlo a obtener más información:

Un transporte optimizado en la nube para HPC elástico y escalable – Este documento revisa los desafíos que surgen cuando se intenta ejecutar el tráfico de HPC a través de una red basada en TCP y señala que la variabilidad (valores atípicos de latencia) puede tener un efecto profundo en la eficiencia de escalado e incluye una breve descripción general de SRD:

El datagrama confiable escalable (SRD) está optimizado para centros de datos de hiperescala: proporciona equilibrio de carga en múltiples rutas y recuperación rápida de caídas de paquetes o fallas de enlace. Utiliza la funcionalidad estándar de ECMP en los conmutadores Ethernet básicos y evita sus limitaciones: el remitente controla la selección de ruta de ECMP mediante la manipulación de la encapsulación de paquetes.

Hay muchos detalles interesantes en el documento completo, ¡y vale la pena leerlo!

En la búsqueda de rendimiento, hay más de una forma de construir una red – Esta publicación de blog de 2021 analiza nuestra decisión de crear el adaptador de tejido elástico e incluye algunos datos importantes (y gráficos geniales) para demostrar el impacto de la pérdida de paquetes en el rendimiento general de la aplicación. Una de las cosas interesantes de SRD es que realiza un seguimiento de la disponibilidad y el rendimiento de múltiples rutas de red entre el transmisor y el receptor, y distribuye paquetes en hasta 64 rutas a la vez para aprovechar la mayor cantidad de ancho de banda posible y para recuperarse rápidamente en caso de pérdida de paquetes.

— jeff;