Nuevos ultraservadores de Amazon EC2 P6E-GB200 acelerados por NVIDIA Grace Blackwell GPUS para la actuación de IA más alta | Servicios web de Amazon

Hoy, anunciamos la disponibilidad general de ultraservadores de Amazon Elastic Compute Cloud (Amazon EC2) P6E-GB200, acelerado por NVIDIA GB200 NVL72 para ofrecer el rendimiento más alto de GPU para capacitación e inferencia de IA. Los ultraservadores de Amazon EC2 conectan múltiples instancias de EC2 utilizando una interconexión de acelerador dedicada, de alto ancho de banda y baja latencia en estas instancias.

Los Superchips Nvidia Grace Blackwell conectan dos GPU NVIDIA Blackwell Tensor Core de alto rendimiento y una CPU Nvidia Grace basada en la arquitectura ARM utilizando la interconexión Nvidia Nvlink-C2C. Cada Grace Blackwell Superchip ofrece 10 petaflops de cálculo FP8 (sin dispersión) y hasta 372 GB de memoria HBM3E. Con la arquitectura de superchip, la GPU y la CPU se colocan dentro de un módulo de cómputo, aumentando el ancho de banda entre GPU y CPU significativamente en comparación con las instancias de la generación de la generación actual de EC2 P5EN.

Con los ultraservadores EC2 P6E-GB200, puede acceder hasta 72 GPU NVIDIA Blackwell dentro de un dominio NVLINK para usar 360 petaflops de cálculo de FP8 (sin escasez) y 13.4 TB de memoria total de ancho de banda alto (HBM3E). Impulsados por el sistema AWS Nitro, los ultraservadores P6E-GB200 se implementan en ultraclusters de EC2 a escala de forma segura y confiable a decenas de miles de GPU.

Los ultraservadores EC2 P6E-GB200 entregan hasta 28.8 Tbps de redes de adaptador de tela elástica total (EFAV4). EFA también se combina con NVIDIA GPUDIRECT RDMA para habilitar la comunicación de GPU a GPU de baja latencia entre servidores con derivación del sistema operativo.

Especificaciones de ultraservadores EC2 P6E-GB200
Los ultraservadores EC2 P6E-GB200 están disponibles en tamaños que van desde 36 a 72 GPU en NVLink. Estas son las especificaciones para ultraservadores EC2 P6E-GB200:

Los ultraservadores de P6E-GB200 son ideales para las cargas de trabajo de IA más intensivas en cómputo y memoria, como el entrenamiento e inferencia de los modelos fronterizos, incluida la mezcla de modelos de expertos y modelos de razonamiento, a escala de billones de parámetros.

Puede crear aplicaciones de IA de agentes y generativos, incluidas la respuesta a las preguntas, la generación de códigos, la generación de videos e imágenes, el reconocimiento de voz y más.

Ultraservadores P6E-GB200 en acción
Puede usar ultraservadores EC2 P6E-GB200 en la zona local de Dallas a través de bloques de capacidad EC2 para ML. La zona local de Dallas (us-east-1-dfw-2a) es una extensión de la región del este de EE. UU. (N. Virginia).

Para reservar sus bloques de capacidad EC2, elija Reservas de capacidad En la consola de Amazon EC2. Puedes seleccionar Bloques de capacidad de compra para ML y luego elija su capacidad total y especifique cuánto tiempo necesita el bloque de capacidad EC2 para U-P6E-GB200x36 o U-P6E-GB200x72 Ultraservadores.

Una vez que el bloque de capacidad se programa con éxito, se cobra por adelantado y su precio no cambia después de la compra. El pago se facturará a su cuenta dentro de las 12 horas posteriores a la compra de los bloques de capacidad EC2. Para obtener más información, visite los bloques de capacidad para ML en la Guía del usuario de Amazon EC2.

Para ejecutar instancias dentro de su bloque de capacidad comprado, puede usar AWS Management Console, AWS Command Line Interface (AWS CLI) o AWS SDKS. En el lado del software, puede comenzar con los AWS Deep Learning AMIS. Estas imágenes están preconfiguradas con los marcos y herramientas que probablemente ya conoce y use: Pytorch, Jax y mucho más.

También puede integrar ultraservadores EC2 P6E-GB200 sin problemas con varios servicios administrados por AWS. Por ejemplo:

• Amazon Sagemaker HyperPod proporciona infraestructura administrada y resistente que maneja automáticamente el aprovisionamiento y la gestión de los ultraservadores P6E-GB200, reemplazando las instancias defectuosas con una capacidad libre preconfigurada dentro del mismo dominio NVLINK para mantener el rendimiento.
• Amazon Elastic Kubernetes Services (Amazon EKS) permite que un grupo de nodos administrado se extienda a través de múltiples ultraservadores P6E-GB200 como nodos, automatizando su aprovisionamiento y gestión de ciclos de vida dentro de los grupos de Kubernetes. Puede usar el enrutamiento de topología EKS para ultraservadores P6E-GB200, lo que permite una colocación óptima de componentes estrechamente acoplados de cargas de trabajo distribuidas dentro de un único ultraservador, instancias conectadas a NVLink.
• Amazon FSX para los sistemas de archivos Luster proporciona acceso de datos para ultraservadores P6E-GB200 a los cientos de GB/s de rendimiento y millones de operaciones de entrada/salida por segundo (IOPS) requeridas para cargas de trabajo HPC y IA a gran escala. Para un acceso rápido a grandes conjuntos de datos, puede usar hasta 405 TB del almacenamiento local de SSD NVME o un almacenamiento rentable prácticamente ilimitado con el servicio de almacenamiento simple de Amazon (Amazon S3).

Ahora disponible
Los ultraservadores de Amazon EC2 P6E-GB200 están disponibles hoy en la zona local de Dallas (us-east-1-dfw-2a) a través de bloques de capacidad EC2 para ML. Para obtener más información, visite la página de precios de Amazon EC2.

Prueba los ultraservadores Amazon EC2 P6E-GB200 en la consola Amazon EC2. Para obtener más información, visite la página de instancias de Amazon EC2 P6E y envíe comentarios a AWS Re: Post para EC2 o a través de sus contactos habituales de soporte de AWS.

– Canal