Los modelos Meta Llama 3 ya están disponibles en Amazon Bedrock | Servicios web de Amazon

Hoy anunciamos la disponibilidad general de los modelos Llama 3 de Meta en Amazon Bedrock. Meta Llama 3 está diseñado para que usted pueda crear, experimentar y escalar de manera responsable sus aplicaciones de inteligencia artificial (IA) generativa. Los nuevos modelos Llama 3 son los más capaces de admitir una amplia gama de casos de uso con mejoras en el razonamiento, la generación de código y la instrucción.

De acuerdo a Anuncio de Meta’s Llama 3, la familia de modelos Llama 3 es una colección de modelos de lenguaje grande (LLM) previamente entrenados y ajustados por instrucciones en tamaños de parámetros 8B y 70B. Estos modelos han sido entrenados con más de 15 billones de tokens de datos, un conjunto de datos de entrenamiento siete veces mayor que el utilizado para los modelos Llama 2, incluido cuatro veces más código, que admite una longitud de contexto de 8K que duplica la capacidad de Llama 2.

Ahora puede utilizar dos nuevos modelos Llama 3 en Amazon Bedrock, lo que aumenta aún más la elección de modelos dentro de Amazon Bedrock. Estos modelos le brindan la posibilidad de experimentar y evaluar fácilmente aún más modelos básicos (FM) para su caso de uso:

• Llama 3 8B Es ideal para recursos y potencia computacional limitados y dispositivos de borde. El modelo destaca en el resumen de texto, la clasificación de texto, el análisis de sentimientos y la traducción de idiomas.
• Llama 3 70B Es ideal para la creación de contenidos, IA conversacional, comprensión de idiomas, desarrollo de investigaciones y aplicaciones empresariales. El modelo destaca en el resumen y la precisión del texto, la clasificación y los matices del texto, el análisis de sentimientos y el razonamiento de matices, el modelado del lenguaje, los sistemas de diálogo, la generación de código y el seguimiento de instrucciones.

Actualmente, Meta también está entrenando modelos adicionales de Llama 3 con un tamaño de más de 400 mil millones de parámetros. Estos modelos 400B tendrán nuevas capacidades, incluida la multimodalidad, la compatibilidad con múltiples idiomas y una ventana de contexto mucho más larga. Cuando se lancen, estos modelos serán ideales para la creación de contenido, la IA conversacional, la comprensión de idiomas, la investigación y el desarrollo (I+D) y las aplicaciones empresariales.

Modelos Llama 3 en acción.
Si es nuevo en el uso de modelos Meta, vaya a la consola de Amazon Bedrock y elija Acceso al modelo en el panel inferior izquierdo. Para acceder a los últimos modelos de Llama 3 de Meta, solicite acceso por separado para Llama 3 8B Instrucción o Llama 3 70B Instrucción.

Para probar los modelos Meta Llama 3 en la consola Amazon Bedrock, elija Texto o Charlar bajo Parques infantiles en el panel de menú izquierdo. Entonces escoge Seleccionar modelo y seleccione Meta como la categoría y Llama 8B Instruir o Llama 3 70B Instrucción como modelo.

Por elección Ver solicitud de API, también puede acceder al modelo mediante ejemplos de código en la interfaz de línea de comandos de AWS (AWS CLI) y los SDK de AWS. Puede utilizar ID de modelo como meta.llama3-8b-instruct-v1 o meta.llama3-70b-instruct-v1.

A continuación se muestra un ejemplo del comando de AWS CLI:

$ aws bedrock-runtime invoke-model \
  --model-id meta.llama3-8b-instruct-v1:0 \
  --body "{\"prompt\":\"Simply put, the theory of relativity states that\\n the laws of physics are the same everywhere in the universe, and that the passage of time and the length of objects can vary depending on their speed and position in a gravitational field \",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

Puede utilizar ejemplos de código para Amazon Bedrock utilizando los SDK de AWS para crear sus aplicaciones con varios lenguajes de programación. Los siguientes ejemplos de código Python muestran cómo invocar el modelo Llama 3 Chat en Amazon Bedrock para la generación de texto.

def invoke_llama3(self, prompt):
        try:
            body = {
                "prompt": prompt,
                "temperature": 0.5,
                "top_p": 0.9,
                "max_gen_len": 512,
            }

            response = self.bedrock_runtime_client.invoke_model(
                modelId="meta.llama3-8b-instruct-v1:0", body=json.dumps(body)
            )

            response_body = json.loads(response["body"].read())
            completion = response_body["generation"]

            return completion

        except ClientError:
            logger.error("Couldn't invoke Llama 3")
            raise

Puede utilizar estos modelos de Llama 3 para una variedad de tareas, como respuesta a preguntas, traducción de idiomas, análisis de sentimientos y más. A continuación se muestra un ejemplo de modelos Llama 3 con aprendizaje en contexto de pocas tomas donde proporcionamos muestras de capacitación disponibles para el modelo.

Input: Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Output:  fromage
panda => panda
penguin => pingouin
polar bear => ours polaire
puffin => macareux
sloth => paresseux
walrus => morse
whale => baleine
zebra => z\u00e8bre

Translate English to German:
sea otter => Seeotter

También puede utilizar los modelos de instrucción de Llama 3 optimizados para casos de uso de diálogo. La entrada a los puntos finales del modelo de instrucción es el historial previo entre el asistente de chat y el usuario. Así, puedes hacer preguntas contextuales a la conversación que ha ocurrido hasta ahora y proporcionar la configuración del sistema, como personas, que definen el comportamiento del asistente de chat en el siguiente formato:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>
[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

En el siguiente ejemplo, el usuario mantiene una conversación con el asistente sobre sitios turísticos de París. Luego, el usuario consulta sobre la primera opción recomendada por el asistente del chat.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n
I am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:\n\n
1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.\n
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.\n
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.\n\n
These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
What is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:\n\n
1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).\n
2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.\n
3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.\n
4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.\n
5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.\n
6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the \"Eiffel Tower Sparkle,\" takes place every hour on the hour from dusk to midnight.\n
7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.\n\n
Overall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

Para obtener más información sobre la nueva plantilla de aviso y los tokens especiales de Llama 3, consulte Meta’s tarjetas modelo y formatos de indicaciones o Recetas De Llamas en el repositorio de GitHub.

Ya disponible
Los modelos Llama 3 de Meta están disponibles hoy en Amazon Bedrock en las regiones Este de EE. UU. (Norte de Virginia) y Oeste de EE. UU. (Oregón). Consulte la lista completa de regiones para futuras actualizaciones. Para obtener más información, consulte la página de productos y la página de precios de Llama en Amazon Bedrock.

Pruebe Llama 3 en la consola de Amazon Bedrock hoy y envíe sus comentarios a AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS Support.

Visita nuestro sitio community.aws para encontrar contenido técnico detallado y descubrir cómo nuestras comunidades de constructores utilizan Amazon Bedrock en sus soluciones.

— chany