Anuncio de instancias Amazon EC2 G7e aceleradas por las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition | Servicios web de Amazon

Hoy anunciamos la disponibilidad general de las instancias G7e de Amazon Elastic Compute Cloud (Amazon EC2) que ofrecen un rendimiento rentable para cargas de trabajo de inferencia de IA generativa y el mayor rendimiento para cargas de trabajo de gráficos.

Las instancias G7e son aceleradas por las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition y son ideales para una amplia gama de cargas de trabajo habilitadas para GPU, incluidas cargas de trabajo de informática espacial y científica. Las instancias G7e ofrecen un rendimiento de inferencia hasta 2,3 veces mayor que las instancias G6e.

Mejoras realizadas en comparación con sus predecesores:

• GPU NVIDIA RTX PRO 6000 Blackwell — Las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition ofrecen el doble de memoria de GPU y 1,85 veces el ancho de banda de memoria de GPU en comparación con las instancias G6e. Al utilizar la mayor memoria de GPU que ofrecen las instancias G7e, puede ejecutar modelos de tamaño mediano con hasta 70 B de parámetros con precisión FP8 en una sola GPU.
• NVIDIA GPUDirect P2P — Para los modelos que son demasiado grandes para caber en la memoria de una sola GPU, puede dividir el modelo o los cálculos en varias GPU. Las instancias G7e reducen la latencia de sus cargas de trabajo de múltiples GPU con soporte para NVIDIA GPUDirect P2P, que permite la comunicación directa entre GPU a través de la interconexión PCIe. Estas instancias ofrecen la latencia punto a punto más baja para GPU en el mismo conmutador PCIe. Además, las instancias G7e ofrecen hasta cuatro veces el ancho de banda entre GPU en comparación con las GPU L40 incluidas en las instancias G6e, lo que aumenta el rendimiento de las cargas de trabajo de múltiples GPU. Estas mejoras significan que puede ejecutar inferencias para modelos más grandes en varias GPU que ofrecen hasta 768 GB de memoria de GPU en un solo nodo.
• Redes — Las instancias G7e ofrecen cuatro veces el ancho de banda de red en comparación con las instancias G6e, lo que significa que puede usar la instancia para cargas de trabajo de múltiples nodos a pequeña escala. Además, las instancias multi-GPU G7e admiten el acceso directo a memoria remota (RDMA) NVIDIA GPUDirect con Elastic Fabric Adapter (EFA), lo que reduce la latencia de la comunicación remota de GPU a GPU para cargas de trabajo de múltiples nodos. Estos tamaños de instancias también admiten NVIDIA GPUDirectStorage con Amazon FSx para Lustre, lo que aumenta el rendimiento de las instancias hasta en 1,2 Tbps en comparación con las instancias G6e, lo que significa que puede cargar sus modelos rápidamente.

Especificaciones del EC2 G7e

Las instancias G7e cuentan con hasta 8 GPU NVIDIA RTX PRO 6000 Blackwell Server Edition con hasta 768 GB de memoria GPU total (96 GB de memoria por GPU) y procesadores Intel Emerald Rapids. También admiten hasta 192 vCPU, hasta 1600 Gbps de ancho de banda de red, hasta 2048 GiB de memoria del sistema y hasta 15,2 TB de almacenamiento SSD NVMe local.

Aquí están las especificaciones:

Para comenzar con las instancias G7e, puede utilizar las AMI de aprendizaje profundo (DLAMI) de AWS para sus cargas de trabajo de aprendizaje automático (ML). Para ejecutar instancias, puede utilizar la consola de administración de AWS, la interfaz de línea de comandos de AWS (AWS CLI) o los SDK de AWS. Para una experiencia administrada, puede utilizar instancias G7e con Amazon Elastic Container Service (Amazon ECS), Amazon Elastic Kubernetes Service (Amazon EKS). Próximamente también estará disponible la compatibilidad con Amazon SageMaker AI.

Ahora disponible

Las instancias Amazon EC2 G7e están disponibles hoy en las regiones de AWS Este de EE. UU. (Norte de Virginia) y Este de EE. UU. (Ohio). Para disponibilidad regional y una hoja de ruta futura, busque el tipo de instancia en el Formación en la nube pestaña de recursos de Capacidades de AWS por región.

Las instancias se pueden comprar como Instancias bajo demanda, Plan de ahorro e Instancias de spot. Las instancias G7e también están disponibles en Instancias Dedicadas y Hosts Dedicados. Para obtener más información, visite la página de precios de Amazon EC2.

Pruebe las instancias G7e en la consola de Amazon EC2. Para obtener más información, visite la página de instancias Amazon EC2 G7e y envíe sus comentarios a AWS re: Publicación para EC2 o a través de sus contactos habituales de AWS Support.

— chany