Importar modelos personalizados en Amazon Bedrock (vista previa) | Servicios web de Amazon

Con Amazon Bedrock, tiene acceso a una selección de modelos básicos (FM) de alto rendimiento de empresas líderes en inteligencia artificial (IA) que facilitan la creación y escalamiento de aplicaciones de IA generativa. Algunos de estos modelos proporcionan pesos disponibles públicamente que se pueden ajustar y personalizar para casos de uso específicos. Sin embargo, implementar FM personalizados de forma segura y escalable no es una tarea fácil.

A partir de hoy, Amazon Bedrock agrega en versión preliminar la capacidad de importar pesos personalizados para arquitecturas de modelos compatibles (como Meta Llama 2, Llama 3 y Mistral) y ofrecer el modelo personalizado mediante el modo On-Demand. Puedes importar modelos con pesos en Protectores de seguridad Hugging Face formato de Amazon SageMaker y Amazon Simple Storage Service (Amazon S3).

De esta manera, puede utilizar Amazon Bedrock con modelos personalizados existentes, como Código Llamauna versión de Llama 2 especializada en código que se creó capacitando aún más a Llama 2 en conjuntos de datos específicos de código, o utilice sus datos para ajustar los modelos para su propio caso de negocio único e importe el modelo resultante en Amazon Bedrock.

Veamos cómo funciona esto en la práctica.

Trayendo un modelo personalizado a Amazon Bedrock
En la consola de Amazon Bedrock, elijo Modelos importados desde el Modelos de cimentacion sección del panel de navegación. Ahora puedo crear un modelo personalizado importando pesos de modelo desde un depósito de Amazon Simple Storage Service (Amazon S3) o desde un modelo de Amazon SageMaker.

Elijo importar pesos de modelos desde un depósito S3. En otra pestaña del navegador, descargo el MistralLite modelo de la abrazando la cara sitio web usando esta solicitud de extracción (PR) que proporciona pesas en formato de tensores de seguridad. El solicitud de extracción es actualmente Listo para fusionarse, por lo que podría ser parte de la rama principal cuando leas esto. MistralLite es un sistema optimizado Mistral-7B-v0.1 Modelo de lenguaje con capacidades mejoradas de procesamiento de contexto largo de hasta 32 000 tokens.

Cuando se completa la descarga, subo los archivos a un depósito S3 en la misma región de AWS donde importaré el modelo. Aquí están los archivos del modelo MistralLite en la consola de Amazon S3:

De vuelta en la consola de Amazon Bedrock, ingreso un nombre para el modelo y mantengo el nombre del trabajo de importación propuesto.

Yo selecciono Pesos del modelo en el Configuración de importación de modelo y navegue por S3 para elegir la ubicación donde cargué los pesos del modelo.

Para autorizar a Amazon Bedrock a acceder a los archivos del depósito S3, selecciono la opción para crear y utilizar un nuevo rol de servicio de AWS Identity and Access Management (IAM). Yo uso el Ver detalles de permisos enlace para comprobar qué habrá en el puesto. Luego, envío el trabajo.

Unos diez minutos más tarde, se completa el trabajo de importación.

Ahora veo el modelo importado en la consola. La lista también muestra el nombre de recurso de Amazon (ARN) del modelo y la fecha de creación.

Elijo el modelo para obtener más información, como la ubicación S3 de los archivos del modelo.

En la página de detalles del modelo, elijo Abierto en el patio de recreo para probar el modelo en la consola. En el patio de texto, escribo una pregunta usando la plantilla de mensajes del modelo:

<|prompter|>What are the main challenges to support a long context for LLM?</s><|assistant|>

El modelo importado MistralLite responde rápidamente y describe algunos de esos desafíos.

En el patio de juegos, puedo ajustar las respuestas para mi caso de uso usando configuraciones como temperatura y longitud máxima o agregar secuencias de parada específicas del modelo importado.

Para ver la sintaxis de la solicitud API, elijo los tres pequeños puntos verticales en la parte superior derecha del patio de juegos.

yo elijo Ver la sintaxis de la API y ejecute el comando utilizando la interfaz de línea de comandos de AWS (AWS CLI):

aws bedrock-runtime invoke-model \
--model-id arn:aws:bedrock:us-east-1:123412341234:imported-model/a82bkefgp20f \
--body "{\"prompt\":\"<|prompter|>What are the main challenges to support a long context for LLM?</s><|assistant|>\",\"max_tokens\":512,\"top_k\":200,\"top_p\":0.9,\"stop\":[],\"temperature\":0.5}" \
--cli-binary-format raw-in-base64-out \
--region us-east-1 \
invoke-model-output.txt

El resultado es similar al que obtuve en el patio de recreo. Como puede ver, para los modelos importados, el ID del modelo es el ARN del modelo importado. Puedo utilizar el ID del modelo para invocar el modelo importado con la CLI de AWS y los SDK de AWS.

Cosas que saber
Puede traer sus propias ponderaciones para las arquitecturas de modelos admitidas a Amazon Bedrock en la región de AWS Este de EE. UU. (Norte de Virginia). La capacidad de importación de modelos está actualmente disponible en versión preliminar.

Cuando se utilizan pesos personalizados, Amazon Bedrock ofrece el modelo con el modo On-Demand y usted solo paga por lo que usa sin compromisos de plazos basados ​​en el tiempo. Para obtener información detallada, consulte Precios de Amazon Bedrock.

La capacidad de importar modelos se administra mediante AWS Identity and Access Management (IAM) y puede permitir esta capacidad solo a los roles de su organización que necesiten tenerla.

Con este lanzamiento, ahora es más fácil crear y escalar aplicaciones de IA generativa utilizando modelos personalizados con seguridad y privacidad integradas.

Aprender más:

— Danilo