Nuevas instancias Amazon EC2 P5en con GPU NVIDIA H200 Tensor Core y redes EFAv3 | Servicios web de Amazon

Hoy anunciamos la disponibilidad general de Instancias P5en de Amazon Elastic Compute Cloud (Amazon EC2)con tecnología de GPU NVIDIA H200 Tensor Core y procesadores escalables Intel Xeon personalizados de cuarta generación con una frecuencia turbo en todos los núcleos de 3,2 GHz (frecuencia turbo central máxima de 3,8 GHz) disponible solo en AWS. Estos procesadores ofrecen un ancho de banda de memoria un 50 por ciento mayor y un rendimiento hasta cuatro veces mayor entre CPU y GPU con PCIe Gen5, lo que ayuda a aumentar el rendimiento para las cargas de trabajo de inferencia y entrenamiento de aprendizaje automático (ML).

P5en, con hasta 3200 Gbps de tercera generación de Elastic Fabric Adapter (EFAv3) usando Nitro v5, muestra hasta un 35% de mejora en la latencia en comparación con P5 que usa la generación anterior de EFA y Nitro. Esto ayuda a mejorar el rendimiento de las comunicaciones colectivas para cargas de trabajo de capacitación distribuidas, como aprendizaje profundo, inteligencia artificial generativa, procesamiento de datos en tiempo real y aplicaciones de computación de alto rendimiento (HPC).

Estas son las especificaciones para las instancias P5en:

El 9 de septiembre, presentamos las instancias Amazon EC2 P5e, impulsadas por 8 GPU NVIDIA H200 con 1128 GB de memoria GPU de alto ancho de banda, procesadores AMD EPYC de tercera generación, 2 TiB de memoria del sistema y 30 TB de almacenamiento NVMe local. Estas instancias proporcionan hasta 3200 Gbps de ancho de banda de red agregado con EFAv2 y admiten GPUDirect RDMA, lo que permite una latencia más baja y un rendimiento de escalamiento horizontal eficiente al evitar la CPU para la comunicación entre nodos.

Con las instancias P5en, puede aumentar la eficiencia general en una amplia gama de aplicaciones aceleradas por GPU al reducir aún más la inferencia y la latencia de la red. Las instancias P5en aumentan el rendimiento del almacenamiento local hasta dos veces y el ancho de banda de Amazon Elastic Block Store (Amazon EBS) hasta un 25 por ciento en comparación con las instancias P5, lo que mejorará aún más el rendimiento de la latencia de inferencia para aquellos que utilizan almacenamiento local para el modelo de almacenamiento en caché. pesos.

La transferencia de datos entre CPU y GPU puede llevar mucho tiempo, especialmente para grandes conjuntos de datos o cargas de trabajo que requieren intercambios de datos frecuentes. Dado que PCIe Gen 5 proporciona hasta cuatro veces el ancho de banda entre CPU y GPU en comparación con las instancias P5e y P5e, puede mejorar aún más la latencia para el entrenamiento de modelos, el ajuste fino y la ejecución de inferencias para modelos complejos de lenguaje grande (LLM) y modelos básicos multimodales (FM). ) y aplicaciones HPC con uso intensivo de memoria, como simulaciones, descubrimiento farmacéutico, pronóstico del tiempo y modelos financieros.

Introducción a las instancias Amazon EC2 P5en
Puede utilizar instancias EC2 P5en disponibles en las regiones de AWS EE. UU. Este (Ohio), EE. UU. Oeste (Oregón) y Asia Pacífico (Tokio) a través de los bloques de capacidad EC2 para las opciones de compra de ML, On Demand y Savings Plan.

Quiero presentarles cómo usar instancias P5en con Reserva de capacidad como opción. Para reservar sus bloques de capacidad EC2, elija Reservas de capacidad en la consola de Amazon EC2 en la región de AWS Este de EE. UU. (Ohio).

Seleccionar Comprar bloques de capacidad para ML y luego elija su capacidad total y especifique cuánto tiempo necesita el bloque de capacidad EC2 para p5en.48xgrande instancias. La cantidad total de días que puede reservar bloques de capacidad EC2 es de 1 a 14, 21 o 28 días. Los bloques de capacidad EC2 se pueden comprar con hasta 8 semanas de anticipación.

Cuando seleccionas Buscar bloques de capacidadAWS devuelve la oferta de menor precio disponible que cumpla con sus especificaciones en el rango de fechas que haya especificado. Después de revisar los detalles, las etiquetas y la información del precio total de los bloques de capacidad EC2, elija Compra.

Ahora, su bloque de capacidad EC2 se programará correctamente. El precio total de un bloque de capacidad EC2 se cobra por adelantado y el precio no cambia después de la compra. El pago se facturará a su cuenta dentro de las 12 horas posteriores a la compra de los bloques de capacidad EC2. Para obtener más información, visite Bloques de capacidad para ML en la Guía del usuario de Amazon EC2.

Para ejecutar instancias dentro del bloque de capacidad adquirido, puede utilizar la consola de administración de AWS, la interfaz de línea de comandos de AWS (AWS CLI) o los SDK de AWS.

A continuación se muestra un comando de AWS CLI de muestra para ejecutar 16 instancias P5en y maximizar los beneficios de EFAv3. Esta configuración proporciona hasta 3200 Gbps de ancho de banda de red EFA y hasta 800 Gbps de ancho de banda de red IP con ocho direcciones IP privadas:

$ aws ec2 run-instances --image-id ami-abc12345 \
  --instance-type p5en.48xlarge \
  --count 16 \
  --key-name MyKeyPair \
  --instance-market-options MarketType="capacity-block" \
  --capacity-reservation-specification CapacityReservationTarget={CapacityReservationId=cr-a1234567}
--network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=1,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=2,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=3,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=4,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=5,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=6,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=7,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=8,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=9,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=10,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=11,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=12,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=13,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=14,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=15,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=16,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=17,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=18,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=19,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=20,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=21,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=22,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=23,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=24,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=25,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=26,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=27,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=28,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=29,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=30,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=31,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only"
...

Al lanzar instancias P5en, puede utilizar las AMI de aprendizaje profundo de AWS (DLAMI) para admitir instancias EC2 P5en. DLAMI proporciona a los profesionales e investigadores de ML la infraestructura y las herramientas para crear rápidamente aplicaciones de ML distribuidas, seguras y escalables en entornos preconfigurados.

Puede ejecutar aplicaciones de aprendizaje automático en contenedores en instancias P5en con AWS Deep Learning Containers utilizando bibliotecas para Amazon Elastic Container Service (Amazon ECS) o Amazon Elastic Kubernetes Service (Amazon EKS).

Para acceder rápidamente a grandes conjuntos de datos, puede utilizar hasta 30 TB de almacenamiento SSD NVMe local o almacenamiento rentable prácticamente ilimitado con Amazon Simple Storage Service (Amazon S3). También puede utilizar Amazon FSx para sistemas de archivos Lustre en instancias P5en para poder acceder a datos con un rendimiento de cientos de GB/s y millones de operaciones de entrada/salida por segundo (IOPS) necesarios para cargas de trabajo de HPC y aprendizaje profundo a gran escala.

Ahora disponible
Las instancias Amazon EC2 P5en están disponibles hoy en las regiones de AWS Este de EE. UU. (Ohio), Oeste de EE. UU. (Oregón) y Asia Pacífico (Tokio) y en la zona local Este de EE. UU. (Atlanta) us-east-1-atl-2a a través de los bloques de capacidad EC2 para opciones de compra ML, On Demand y Savings Plan. Para obtener más información, visite la página de precios de Amazon EC2.

Pruebe las instancias Amazon EC2 P5en en la consola de Amazon EC2. Para obtener más información, consulte la página de la instancia Amazon EC2 P5 y envíe sus comentarios a AWS re: Publicación para EC2 o a través de sus contactos habituales de AWS Support.

— chany