Anunciamos los modelos Llama 3.1 405B, 70B y 8B de Meta en Amazon Bedrock | Amazon Web Services

Hoy anunciamos la disponibilidad de los modelos Llama 3.1 en Amazon Bedrock. Los modelos Llama 3.1 son los modelos más avanzados y capaces de Meta hasta la fecha. Los modelos Llama 3.1 son una colección de modelos de tamaño de parámetro 8B, 70B y 405B que demuestran un rendimiento de vanguardia en una amplia gama de puntos de referencia de la industria y ofrecen nuevas capacidades para sus aplicaciones de inteligencia artificial generativa (IA generativa).

Todos los modelos de Llama 3.1 admiten una longitud de contexto de 128K (un aumento de 120K tokens respecto de Llama 3) que tiene 16 veces la capacidad de los modelos de Llama 3 y un razonamiento mejorado para casos de uso de diálogo multilingüe en ocho idiomas, incluidos inglés, alemán, francés, italiano, portugués, hindi, español y tailandés.

Ahora puedes usar tres nuevos modelos Llama 3.1 de Meta en Amazon Bedrock para construir, experimentar y escalar de manera responsable tus ideas de IA generativa:

• Llama 3.1 405B (vista previa) es el modelo de lenguaje grande (LLM) disponible públicamente más grande del mundo según Meta. El modelo establece un nuevo estándar para la IA y es ideal para aplicaciones de nivel empresarial e investigación y desarrollo (I+D). Es ideal para tareas como la generación de datos sintéticos donde los resultados del modelo se pueden usar para mejorar modelos Llama más pequeños y destilaciones modelo para transferir conocimiento a modelos más pequeños desde el modelo 405B. Este modelo se destaca en conocimientos generales, generación de textos extensos, traducción multilingüe, traducción automática, codificación, matemáticas, uso de herramientas, comprensión contextual mejorada y razonamiento y toma de decisiones avanzados. Para obtener más información, visite el blog de aprendizaje automático de AWS sobre el uso de Llama 3.1 405B para generar datos sintéticos para la destilación de modelos.
• Llama 3.1 70B Es ideal para la creación de contenido, la inteligencia artificial conversacional, la comprensión de lenguajes, la investigación y el desarrollo y las aplicaciones empresariales. El modelo se destaca en la síntesis y precisión de textos, la clasificación de textos, el análisis de sentimientos y el razonamiento de matices, el modelado de lenguajes, los sistemas de diálogo, la generación de códigos y el seguimiento de instrucciones.
• Llama 3.1 8B Es más adecuado para recursos y potencia computacionales limitados. El modelo se destaca en el resumen de texto, la clasificación de texto, el análisis de sentimientos y la traducción de idiomas que requieren inferencias de baja latencia.

Meta midió el rendimiento de Llama 3.1 en más de 150 conjuntos de datos de referencia que abarcan una amplia gama de idiomas y evaluaciones humanas exhaustivas. Como puede ver en el siguiente gráfico, Llama 3.1 supera a Llama 3 en todas las categorías de evaluación comparativa principales.

Para obtener más información sobre las características y capacidades de Llama 3.1, visite Tarjeta modelo Llama 3.1 de los modelos Meta y Llama en la documentación de AWS.

Puede aprovechar las capacidades de IA responsable de Llama 3.1, combinadas con las funciones de gobernanza de datos y evaluación de modelos de Amazon Bedrock para crear aplicaciones de IA generativa seguras y confiables con confianza.

• Barandillas para Amazon Bedrock – Al crear múltiples barandillas con diferentes configuraciones adaptadas a casos de uso específicos, puede usar Guardrails para promover interacciones seguras entre los usuarios y sus aplicaciones de IA generativa mediante la implementación de protecciones personalizadas para sus casos de uso y políticas de IA responsables. Con Guardrails para Amazon Bedrock, puede monitorear y analizar continuamente las entradas de los usuarios y las respuestas de los modelos que podrían violar las políticas definidas por el cliente, detectar alucinaciones en las respuestas de los modelos que no se basan en datos empresariales o que son irrelevantes para la consulta del usuario, y evaluar en diferentes modelos, incluidos modelos personalizados y de terceros. Para comenzar, visite Crear una barandilla en la documentación de AWS.
• Evaluación de modelos en Amazon Bedrock – Puede evaluar, comparar y seleccionar los mejores modelos de Llama para su caso de uso en tan solo unos pocos pasos mediante la evaluación automática o la evaluación humana. Con la evaluación de modelos en Amazon Bedrock, puede elegir la evaluación automática con métricas predefinidas, como precisión, solidez y toxicidad. Alternativamente, puede elegir flujos de trabajo de evaluación humana para métricas subjetivas o personalizadas, como relevancia, estilo y alineación con la voz de la marca. La evaluación de modelos proporciona conjuntos de datos seleccionados integrados o puede incorporar sus propios conjuntos de datos. Para comenzar, visite Introducción a la evaluación de modelos en la documentación de AWS.

Para obtener más información sobre cómo mantener sus datos y aplicaciones seguros y privados en AWS, visite la página de Seguridad y privacidad de Amazon Bedrock.

Introducción a los modelos Llama 3.1 en Amazon Bedrock
Si no está familiarizado con el uso de los modelos Llama desde Meta, vaya a la consola de Amazon Bedrock y elija Acceso al modelo en el panel inferior izquierdo. Para acceder a los últimos modelos de Llama 3.1 desde Meta, solicite acceso por separado para Llama 3.1 8B Instrucción, Llama 3.1 70B Instruccióno Llama 3.1 405B Instrucción.

Para solicitar que se lo considere para acceder a la versión preliminar de Llama 3.1 405B en Amazon Bedrock, comuníquese con el equipo de su cuenta de AWS o envíe un ticket de soporte a través de la consola de administración de AWS. Al crear el ticket de soporte, seleccione La roca madre del Amazonas como el Servicios y modelos como el Categoría.

Para probar los modelos Llama 3.1 en la consola de Amazon Bedrock, elija Texto o Charlar bajo Parques infantiles en el panel de menú de la izquierda. Luego, seleccione Seleccionar modelo y seleccione Meta como la categoría y Llama 3.1 8B Instrucción, Llama 3.1 70B Instruccióno Llama 3.1 405B Instrucción como modelo.

En el siguiente ejemplo seleccioné el modelo Instruct Llama 3.1 405B.

Por elección Ver solicitud de APITambién puede acceder al modelo mediante ejemplos de código en la interfaz de línea de comandos de AWS (AWS CLI) y los SDK de AWS. Puede utilizar identificadores de modelo como meta.llama3-1-8b-instruct-v1, meta.llama3-1-70b-instruct-v1 o meta.llama3-1-405b-instruct-v1.

A continuación se muestra un ejemplo del comando AWS CLI:

aws bedrock-runtime invoke-model \
  --model-id meta.llama3-1-405b-instruct-v1:0 \
--body "{\"prompt\":\" [INST]You are a very intelligent bot with exceptional critical thinking[/INST] I went to the market and bought 10 apples. I gave 2 apples to your friend and 2 to the helper. I then went and bought 5 more apples and ate 1. How many apples did I remain with? Let's think step by step.\",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

Puede utilizar ejemplos de código para modelos de Llama en Amazon Bedrock mediante los SDK de AWS para crear sus aplicaciones con varios lenguajes de programación. Los siguientes ejemplos de código de Python muestran cómo enviar un mensaje de texto a Llama mediante la API Converse de Amazon Bedrock para la generación de texto.

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the AWS Region you want to use.
client = boto3.client("bedrock-runtime", region_name="us-east-1")

# Set the model ID, e.g., Llama 3 8b Instruct.
model_id = "meta.llama3-1-405b-instruct-v1:0"

# Start a conversation with the user message.
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = client.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

También puede utilizar todos los modelos de Llama 3.1 (8B, 70B y 405B) en Amazon SageMaker JumpStart. Puede descubrir e implementar modelos de Llama 3.1 con unos pocos clics en Amazon SageMaker Studio o mediante programación a través del SDK de Python de SageMaker. Puede operar sus modelos con funciones de SageMaker, como SageMaker Pipelines, SageMaker Debugger o registros de contenedores bajo sus controles de nube privada virtual (VPC), que ayudan a brindar seguridad a los datos.

El ajuste fino de los modelos de Llama 3.1 en Amazon Bedrock y Amazon SageMaker JumpStart estará disponible próximamente. Cuando cree modelos ajustados en SageMaker JumpStart, también podrá importar sus modelos personalizados a Amazon Bedrock. Para obtener más información, visite Meta Los modelos de Llama 3.1 ahora están disponibles en Amazon SageMaker JumpStart en el blog de aprendizaje automático de AWS.

Para los clientes que desean implementar modelos Llama 3.1 en AWS a través de flujos de trabajo de aprendizaje automático autogestionados para lograr una mayor flexibilidad y control de los recursos subyacentes, las instancias de Amazon Elastic Compute Cloud (Amazon EC2) impulsadas por AWS Trainium y AWS Inferentia permiten una implementación rentable y de alto rendimiento de los modelos Llama 3.1 en AWS. Para obtener más información, visite Los chips de IA de AWS ofrecen alto rendimiento y bajo costo para los modelos Meta Llama 3.1 en AWS en el blog de aprendizaje automático de AWS.

Para celebrar este lanzamiento, Parkin Kent, Gerente de Desarrollo Comercial de Meta, habla sobre el poder de la colaboración entre Meta y Amazon, destacando cómo Meta y Amazon están trabajando juntos para superar los límites de lo posible con la IA generativa.

Descubra cómo las empresas aprovechan los modelos Llama en Amazon Bedrock para aprovechar el poder de la IA generativa. Nomura, un grupo global de servicios financieros que abarca 30 países y regiones, está democratizando la IA generativa en toda su organización utilizando los modelos Llama en Amazon Bedrock.

Ya disponible
Los modelos Llama 3.1 8B y 70B de Meta están disponibles de forma general y el modelo Llama 450B se encuentra disponible en versión preliminar hoy en Amazon Bedrock en la región Oeste de EE. UU. (Oregón). Para solicitar que se lo considere para acceder a la versión preliminar de Llama 3.1 405B en Amazon Bedrock, comuníquese con el equipo de su cuenta de AWS o envíe un ticket de soporte. Consulte la lista completa de regiones para obtener actualizaciones futuras. Para obtener más información, consulte la página del producto Llama en Amazon Bedrock y la página de precios de Amazon Bedrock.

Pruebe Llama 3.1 en la consola Amazon Bedrock hoy mismo y envíe comentarios a AWS re:Post para Amazon Bedrock o a través de sus contactos habituales de soporte de AWS.

Visita nuestro Sitio de community.aws para encontrar contenido técnico detallado y descubrir cómo nuestras comunidades de Builder utilizan Amazon Bedrock en sus soluciones. ¡Cuéntame qué creas con Llama 3.1 en Amazon Bedrock!

— Channy