Deepseek-R1 ahora disponible como un modelo sin servidor totalmente administrado en Amazon Bedrock | Servicios web de Amazon

Al 30 de enero, los modelos Deepseek-R1 estuvieron disponibles en Amazon Bedrock a través del mercado de rock de Amazon y la importación de modelos personalizados de Amazon Bedrock. Desde entonces, miles de clientes han desplegado estos modelos en Amazon Bedrock. Los clientes valoran las barandillas robustas y las herramientas integrales para la implementación segura de IA. Hoy, estamos haciendo que sea aún más fácil usar Deepseek en Amazon Bedrock a través de una gama ampliada de opciones, incluida una nueva solución sin servidor.

El modelo Deepseek-R1 totalmente administrado ahora está generalmente disponible en Amazon Bedrock. Amazon Web Services (AWS) es el primer proveedor de servicios en la nube (CSP) que entrega Deepseek-R1 como un modelo totalmente administrado y generalmente disponible. Puede acelerar la innovación y ofrecer un valor comercial tangible con Deepseek en AWS sin tener que administrar las complejidades de infraestructura. Puede alimentar sus aplicaciones de IA generativas con capacidades de Deepseek-R1 utilizando una sola API en el servicio totalmente administrado de Amazon Bedrock y obtener el beneficio de sus amplias características y herramientas.

De acuerdo a Veteranosu modelo está disponible públicamente bajo la licencia MIT y ofrece fuertes capacidades en razonamiento, codificación y comprensión del lenguaje natural. Estas capacidades alimentan el soporte de decisiones inteligentes, el desarrollo de software, la resolución de problemas matemáticos, el análisis científico, los conocimientos de datos y los sistemas integrales de gestión del conocimiento.

Como es el caso de todas las soluciones de IA, considere cuidadosamente los requisitos de privacidad de datos al implementar en sus entornos de producción, verificar el sesgo en la producción y monitorear sus resultados. Al implementar modelos disponibles públicamente como Deepseek-R1, considere lo siguiente:

• Seguridad de datos -Puede acceder a las características de seguridad, monitoreo y control de costos de grado empresarial de Amazon Bedrock que son esenciales para implementar IA de manera responsable a escala, todo mientras se conserva el control completo sobre sus datos. Las entradas y salidas de modelos de los usuarios no se comparten con ningún proveedor de modelos. Puede usar estas características de seguridad clave de forma predeterminada, incluido el cifrado de datos en reposo y en tránsito, controles de acceso de grano fino, opciones de conectividad seguras y descargar varias certificaciones de cumplimiento mientras se comunica con el modelo Deepseek-R1 en Amazon Bedrock.
• AI responsable – Puede implementar salvaguardas personalizadas para los requisitos de su aplicación y las políticas de IA responsables con las barandillas de roca madre de Amazon. Esto incluye características clave del filtrado de contenido, el filtrado de información confidencial y los controles de seguridad personalizables para evitar alucinaciones utilizando verificaciones de razonamiento contextual y de conexión a tierra. Esto significa que puede controlar la interacción entre los usuarios y el modelo Deepseek-R1 en Bedrock con su conjunto definido de políticas filtrando contenido indeseable y dañino en sus aplicaciones generativas de IA.
• Evaluación del modelo -Puede evaluar y comparar modelos para identificar el modelo óptimo para su caso de uso, incluido Deepseek-R1, en algunos pasos a través de evaluaciones automáticas o humanas mediante el uso de herramientas de evaluación del modelo de roca madre de Amazon. Puede elegir una evaluación automática con métricas predefinidas como precisión, robustez y toxicidad. Alternativamente, puede elegir flujos de trabajo de evaluación humana para métricas subjetivas o personalizadas, como relevancia, estilo y alineación con la voz de la marca. La evaluación del modelo proporciona conjuntos de datos curados incorporados, o puede traer sus propios conjuntos de datos.

Recomendamos encarecidamente la integración de las barandillas de roca madre de Amazon y usar características de evaluación del modelo de roca madre de Amazon con su modelo Deepseek-R1 para agregar protección robusta para sus aplicaciones generativas de IA. Para obtener más información, visite sus implementaciones de modelos Protect Your DeepSeek con las barandillas de roca madre de Amazon y evalúe el rendimiento de los recursos de la roca madre de Amazon.

Comience con el modelo Deepseek-R1 en Amazon Bedrock
Si eres nuevo en usar modelos Deepseek-R1, vaya a la consola de rock de Amazon, elija Acceso modelo bajo Configuraciones de roca madre En el panel de navegación izquierda. Para acceder al modelo Deepseek-R1 completamente administrado, solicite acceso a Deepseek-r1 en Veterano. Luego se le otorgará acceso al modelo en Amazon Bedrock.

Share

Share on PinterestShare on FacebookShare on Twitter

A continuación, para probar el modelo Deepseek-R1 en Amazon Bedrock, elija Chat/texto bajo Parques infantiles En el panel del menú izquierdo. Luego elija Modelo seleccionado en la esquina superior izquierda y seleccionar Veterano como la categoría y Deepseek-r1 como el modelo. Luego elija Aplicar.

Share

Share on PinterestShare on FacebookShare on Twitter

Usando el seleccionado Deepseek-r1 Modelo, ejecuto el siguiente ejemplo de solicitud:

A family has $5,000 to save for their vacation next year. They can place the money in a savings account earning 2% interest annually or in a certificate of deposit earning 4% interest annually but with no access to the funds until the vacation. If they need $1,000 for emergency expenses during the year, how should they divide their money between the two options to maximize their vacation fund?

Este aviso requiere una cadena de pensamiento compleja y produce resultados de razonamiento muy precisos.

Para obtener más información sobre las recomendaciones de uso para las indicaciones, consulte el Readme del modelo Deepseek-R1 En su repositorio de Github.

Eligiendo Ver solicitud de APItambién puede acceder al modelo utilizando ejemplos de código en la interfaz de línea de comando AWS (AWS CLI) y AWS SDK. Puedes usar deepseek.r1-v1:0 como la identificación del modelo.

Aquí hay una muestra del comando AWS CLI:

aws bedrock-runtime invoke-model \
     --model-id deepseek-r1-v1:0 \
     --body "{\"messages\":[{\"role\":\"user\",\"content\":[{\"type\":\"text\",\"text\":\"[n\"}]}],max_tokens\":2000,\"temperature\":0.6,\"top_k\":250,\"top_p\":0.9,\"stop_sequences\":[\"\\n\\nHuman:\"]}" \
     --cli-binary-format raw-in-base64-out \
     --region us-west-2 \
     invoke-model-output.txt

El modelo admite ambos InvokeModel y Converse API. Los siguientes ejemplos de código de Python muestran cómo enviar un mensaje de texto al modelo Deepseek-R1 utilizando la API Converse de Amazon Bedrock para la generación de texto.

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the AWS Region you want to use.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 8b Instruct.
model_id = "deepseek.r1-v1:0"

# Start a conversation with the user message.
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = client.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 2000, "temperature": 0.6, "topP": 0.9},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

Para habilitar las barandillas de roca madre de Amazon en el modelo Deepseek-R1, seleccione Barandas bajo Salvaguardia En el panel de navegación izquierda, y cree una barandilla configurando tantos filtros como sea necesario. Por ejemplo, si filtra por la palabra «política», sus barandillas reconocerán esta palabra en el aviso y le mostrarán el mensaje bloqueado.

Share

Share on PinterestShare on FacebookShare on Twitter

Puede probar la barandilla con diferentes insumos para evaluar el rendimiento de la barandilla. Puede refinar la barandilla estableciendo temas denegados, filtros de palabras, filtros de información confidencial y mensajes bloqueados hasta que coincida con sus necesidades.

Para obtener más información sobre las barandillas de roca madre de Amazon, visite Stop Content en modelos utilizando barandillas de roca madre de Amazon en la documentación de AWS u otras publicaciones de blog de buceo profundo sobre las barandillas de roca madre de Amazon en el canal de blog de AWS Machine Learning.

Aquí hay un tutorial de demostración Destacando cómo puede aprovechar el modelo Deepseek-R1 totalmente administrado en Amazon Bedrock:

Ahora disponible
Deepseek-R1 ahora está disponible completamente administrado en Amazon Bedrock en el este de los EE. UU. (N. Virginia), US East (Ohio) y las regiones de US West (Oregon) AWS a través de la inferencia de región transversal. Consulte la lista de región completa para obtener actualizaciones futuras. Para obtener más información, consulte la página de productos Deepseek en Amazon Bedrock y la página de precios de Amazon Bedrock.

Prueba el modelo Deepseek-R1 en la consola de rock de Amazon hoy y envíe comentarios a AWS Re: Publicación para Amazon Bedrock o a través de sus contactos habituales de soporte de AWS.

– Canal