Deepseek-r1 modelos ahora disponibles en AWS | Servicios web de Amazon

Durante este pasado AWS re: Invent, el CEO de Amazon Andy Jassy Lecciones valiosas compartidas aprendidas Desde la propia experiencia de Amazon, desarrollando casi 1,000 aplicaciones generativas de IA en toda la empresa. A partir de esta extensa escala de implementación de IA, Jassy ofreció tres observaciones clave que han dado forma al enfoque de Amazon para la implementación de IA empresarial.

Primero es que a medida que se escala en aplicaciones generativas de IA, el costo del cálculo realmente importa. La gente tiene mucha hambre para un mejor rendimiento de los precios. El segundo es bastante difícil de construir una aplicación de IA generativa realmente buena. El tercero es la diversidad de los modelos que se usan cuando les dimos a nuestros constructores la libertad de elegir lo que quieren hacer. No nos sorprende, porque seguimos aprendiendo la misma lección una y otra vez, que es que nunca habrá una herramienta para gobernar el mundo.

Como Andy enfatizó, una amplia y profunda gama de modelos proporcionados por Amazon faculta a los clientes para elegir las capacidades precisas que mejor satisfagan sus necesidades únicas. Al monitorear de cerca tanto las necesidades del cliente como los avances tecnológicos, AWS amplía regularmente nuestra selección curada de modelos para incluir nuevos modelos prometedores junto con los favoritos de la industria establecidos. Esta expansión continua de las ofertas de modelos de alto rendimiento y diferenciadas ayuda a los clientes a mantenerse a la vanguardia de la innovación de IA.

Esto nos lleva a la startup de IA china Veterano. Deepseek lanzado Deepseek-v3 en diciembre de 2024 y posteriormente lanzado Deepseek-r1Deepseek-r1-cero con 671 mil millones de parámetros, y modelos Deepseek-R1-Distill que van de 1.5 a 70 mil millones de parámetros el 20 de enero de 2025. Agregaron su visión basada en la visión Janus-Pro-7b modelo el 27 de enero de 2025. Los modelos están disponibles públicamente y están Según se informa, 90-95% más asequible y rentable que los modelos comparables. Según Deepseek, su modelo se destaca por sus capacidades de razonamiento, logradas a través de técnicas de capacitación innovadoras como el aprendizaje de refuerzo.

Hoy, ahora puede implementar modelos Deepseek-R1 en Amazon Bedrock y Amazon Sagemaker AI. Amazon Bedrock es mejor para los equipos que buscan integrar rápidamente los modelos de base previamente capacitados a través de API. Amazon Sagemaker AI es ideal para organizaciones que desean personalización, capacitación e implementación avanzadas, con acceso a la infraestructura subyacente. Además, también puede usar AWS Entrenium y AWS Inferentia para implementar modelos Deepseek-R1-Distill de manera rentable a través de Amazon Elastic Compute Cloud (Amazon EC2) o Amazon Sagemaker AI.

Con AWS, puede usar modelos Deepseek-R1 para construir, experimentar y escalar de manera responsable sus ideas generativas de IA utilizando este modelo potente y rentable con una inversión de infraestructura mínima. También puede impulsar con confianza la innovación generativa de IA mediante la construcción de servicios de AWS que están diseñados de manera única para la seguridad. Recomendamos encarecidamente la integración de sus implementaciones de los modelos Deepseek-R1 con las barandillas de roca madre de Amazon para agregar una capa de protección para sus aplicaciones generativas de IA, que pueden ser utilizadas por los clientes de Amazon Bedrock y Amazon SageMaker AI.

Puede elegir cómo implementar modelos Deepseek-R1 en AWS hoy de algunas maneras: 1/ Amazon Bedrock Marketplace para el modelo Deepseek-R1, 2/ Amazon Sagemaker Jumpstart para el modelo Deepseek-R1, 3/ Amazon Bedrock Model IMPORTA para los modelos Deepseek-R1-Distilly 4/ Amazon EC2 TRN1 instancias para los modelos Deepseek-R1-Distill.

Déjame guiarte a través de los diversos caminos para comenzar con modelos Deepseek-R1 en AWS. Ya sea que esté construyendo su primera aplicación de IA o escalar las soluciones existentes, estos métodos proporcionan puntos de partida flexibles basados ​​en la experiencia y los requisitos de su equipo.

1. El modelo Deepseek-R1 en Amazon Bedrock Marketplace
Amazon Bedrock Marketplace ofrece más de 100 FMS populares, emergentes y especializados junto con la selección actual de modelos líderes en la industria en Amazon Bedrock. Puede descubrir fácilmente modelos en un solo catálogo, suscribirse al modelo y luego implementar el modelo en puntos finales administrados.

Para acceder al modelo Deepseek-R1 en Amazon Bedrock Marketplace, vaya a la consola de rock de Amazon y seleccione Catálogo de modelos bajo el Modelos de base sección. Puede encontrar rápidamente Deepseek buscando o filtrando por los proveedores de modelos.

Después de revisar la página de detalles del modelo, incluidas las capacidades del modelo y las pautas de implementación, puede implementar directamente el modelo proporcionando un nombre de punto final, eligiendo el número de instancias y seleccionando un tipo de instancia.

También puede configurar opciones avanzadas que le permitan personalizar la configuración de seguridad e infraestructura para el modelo Deepseek-R1 que incluye redes VPC, permisos de roles de servicio y configuraciones de cifrado. Para las implementaciones de producción, debe revisar estas configuraciones para alinearse con los requisitos de seguridad y cumplimiento de su organización.

Con las barandillas de roca madre de Amazon, puede evaluar de forma independiente las entradas de los usuarios y las salidas del modelo. Puede controlar la interacción entre los usuarios y Deepseek-R1 con su conjunto definido de políticas filtrando contenido indeseable y dañino en aplicaciones generativas de IA. El modelo Deepseek-R1 en Amazon Bedrock Marketplace solo se puede utilizar con la API ApplackGuardRail Applock para evaluar las entradas de los usuarios y las respuestas de modelos para FMS personalizados y de terceros disponibles fuera de Amazon Bedrock. Para obtener más información, lea las medidas de seguridad independientes del modelo implementados con barandas de roca madre de Amazon.

Las barandillas de roca madre de Amazon también se pueden integrar con otras herramientas de roca madre, incluidas las bases de conocimiento de Amazon Bedrock y Amazon Bedrock de conocimiento para construir aplicaciones de IA generativas más seguras y seguras alineadas con las políticas de IA responsables. Para obtener más información, visite la página de AI responsable de AWS.

Consulte esta guía paso a paso sobre cómo implementar el modelo Deepseek-R1 en Amazon Bedrock Marketplace. Para obtener más información, visite los modelos de implementación en el mercado de rock de Amazon.

2. El modelo Deepseek-R1 en Amazon Sagemaker Jumpstart
Amazon Sagemaker JumpStart es un centro de aprendizaje automático (ML) con FMS, algoritmos incorporados y soluciones de ML preconstruidas que puede implementar con solo unos pocos clics. Para implementar Deepseek-R1 en Sagemaker Jumpstart, puede descubrir el modelo Deepseek-R1 en Sagemaker Unified Studio, Sagemaker Studio, Sagemaker AI Console o programáticamente a través del Sagemaker Python SDK.

En la consola AI de Amazon Sagemaker, Open Sagemaker Unified Studio o Sagemaker Studio. En el caso de Sagemaker Studio, elija Salpicar y buscar «DeepSeek-R1» en el Todos los modelos públicos página.

Puede seleccionar el modelo y elegir implementar para crear un punto final con la configuración predeterminada. Cuando llega el punto final Intermediarpuede hacer inferencias enviando solicitudes a su punto final.

Puede obtener controles de rendimiento del modelo y operaciones ML con características de AI de Amazon Sagemaker, como Amazon SageMaker Pipelines, Amazon SageMaker Depugger o registros de contenedores. El modelo se implementa en un entorno seguro AWS y bajo sus controles de nube privada virtual (VPC), lo que ayuda a admitir la seguridad de los datos.

Como como Bedrock MarketPalce, puede usar el ApplyGuardrail La API en el Sagemaker JumpStart para decouple salvaguardas para sus aplicaciones generativas de IA del modelo Deepseek-R1. Ahora puede usar barandas sin invocar FMS, lo que abre la puerta a una mayor integración de salvaguardas empresariales estandarizadas y a fondo probadas a su flujo de aplicación, independientemente de los modelos utilizados.

Consulte esta guía paso a paso sobre cómo implementar Deepseek-R1 en Amazon Sagemaker JumpStart. Para obtener más información, visite Discover SageMaker JumpStart Models en Sagemaker Unified Studio o implementar modelos Sagemaker JumpStart en Sagemaker Studio.

3. Deepseek-R1-Distill Models utilizando la importación de modelos personalizados de Amazon Bedrock
La importación del modelo personalizado de Amazon Bedrock proporciona la capacidad de importar y usar sus modelos personalizados junto con FMS existentes a través de una API unificada sin servidor sin servidor sin la necesidad de administrar la infraestructura subyacente. Con la importación de modelos personalizados de Amazon Bedrock, puede importar modelos Deepseek-R1-Distill Llama que varían de 1.5 a 70 mil millones de parámetros. Como destacé en mi publicación de blog sobre la destilación del modelo de roca madre de Amazon, el proceso de destilación implica capacitar modelos más pequeños y más eficientes para imitar los patrones de comportamiento y razonamiento del modelo más grande Deepseek-R1 con 671 mil millones de parámetros mediante el uso de un modelo de maestro.

Después de almacenar estos modelos disponibles públicamente en un cubo de Amazon Simple Storage Service (Amazon S3) o un Registro de Modelo de Amazon Sagemaker, vaya a Modelos importados bajo Modelos de base En la consola de rock de Amazon e importarlos e implementarlos en un entorno totalmente administrado y sin servidor a través de Amazon Bedrock. Este enfoque sin servidor elimina la necesidad de gestión de infraestructura al tiempo que proporciona seguridad y escalabilidad de grado empresarial.

Consulte esta guía paso a paso sobre cómo implementar modelos Deepseek-R1 con la importación de modelos personalizados de Amazon Bedrock. Para obtener más información, visite Importar un modelo personalizado en Amazon Bedrock.

4. Deepseek-R1-Distill Models utilizando AWS Entrenium y AWS Inferentia
AWS Deep Learning AMIS (DLAMI) proporciona imágenes de máquina personalizadas que puede usar para el aprendizaje profundo en una variedad de instancias de Amazon EC2, desde una pequeña instancia de CPU hasta las últimas instancias de GPU de alta potencia. Puede implementar los modelos Deepseek-R1-Distill en instancias de AWS Trainuim1 o AWS Inferentia2 para obtener el mejor rendimiento de precio.

Para comenzar, vaya a Amazon EC2 Console y lance un trn1.32xlarge Instancia de EC2 con el Neuron Multi Framework dlami Llamado Aprendizaje profundo Ami Neuron (Ubuntu 22.04).

Una vez que haya conectado a su instancia EC2 lanzada, instale VLLM, una herramienta de código abierto para servir modelos de idiomas grandes (LLM) y descargue el modelo Deepseek-R1-Distill de la cara abrazada. Puede implementar el modelo usando VLLM e invocar el servidor de modelos.

Para obtener más información, consulte esto guía paso a paso Sobre cómo desplegar modelos Deepseek-R1-Distill Llama en AWS Inferentia y Entrenium.

También puedes visitar el Deepseek-r1-Distill-llama-8b o Deepseek-ai/Deepseek-r1-Distill-llama-70b Tarjetas modelo en la cara abrazada. Elegir Desplegar y luego Amazon Sagemaker. Desde AWS Inferentia y Entrenium Pestaña, copie el código de ejemplo para los modelos de Llama de implementación Deepseek-R1-Distill.

Desde el lanzamiento de Deepseek-R1, se han publicado varias guías de su implementación para Amazon EC2 y el servicio de Amazon Elastic Kubernetes (Amazon EKS). Aquí hay un material adicional para que lo revise:

Cosas que saber
Aquí hay algunas cosas importantes que saber.

• Fijación de precios -Para modelos disponibles públicamente como Deepseek-R1, solo se le cobra el precio de infraestructura basado en las horas de instancia de inferencia que seleccione para Amazon Bedrock Markeplace, Amazon Sagemaker JumpStart y Amazon EC2. Para la importación del modelo personalizado de rock, solo se le cobra por la inferencia del modelo, en función del número de copias de su modelo personalizado está activo, facturado en ventanas de 5 minutos. Para obtener más información, consulte los precios de Amazon Bedrock, el precio de AI de Amazon Sagemaker y las páginas de precios de Amazon EC2.
• Seguridad de datos -Puede usar funciones de seguridad de grado empresarial en Amazon Bedrock y Amazon Sagemaker para ayudarlo a hacer que sus datos y aplicaciones sean seguros y privados. Esto significa que sus datos no se comparten con los proveedores de modelos y no se usan para mejorar los modelos. Esto se aplica a todos los modelos, propietarios y disponibles públicamente, como los modelos Deepseek-R1 en Amazon Bedrock y Amazon SageMaker. Para obtener más información, visite la seguridad y la seguridad y la seguridad de Amazon Bedrock en Amazon Sagemaker AI.

Ahora disponible
Deepseek-R1 generalmente está disponible hoy en Amazon Bedrock Marketplace y Amazon Sagemaker Jumpstart. También puede usar modelos Deepseek-R1-Distill utilizando Amazon Bedrock Custom Model Import y Amazon EC2 instancias con AWS Trainum y chips de inferentia.

Pruebe los modelos Deepseek-R1 hoy en la consola de rock de Amazon, la consola de AI de Amazon Sagemaker y la consola de Amazon EC2, y envíe comentarios a AWS Re: Publicación para Amazon Bedrock y AWS Re: Post para Sagemaker AI o a través de sus contactos habituales de soporte de AWS.

– Canal