Optimizado para cargas de trabajo de baja latencia, Mistral Small ahora disponible en Amazon Bedrock | Servicios web de Amazon

Intento el siguiente mensaje para ver un ejemplo de clasificación:

Inmediato:

[INST] Classify the following email to determine if it is spam or not. Only respond with the exact words "Spam" or "Not spam".
? Limited time offer! Buy 2, Get 1 Free! Offer ends today! Don't miss out the CHANCE TO SAVE, please click on the link below: https://bit.ly/buy-2-get-1-free [/INST]

Mistral 7B, Mixtral 8x7B y Mistral Large pueden clasificar correctamente este correo electrónico como «Spam». Mistral Small también es capaz de clasificar esto con precisión, al igual que los modelos más grandes. También intento varias tareas similares, como generar un script Bash a partir de un mensaje de texto y generar una receta para preparar yogur, y obtengo buenos resultados. Por esta razón, Mistral Small es la opción más rentable y eficiente de los modelos Mistral AI en Amazon Bedrock para tales tareas.

Mistral Small destaca en tareas multilingües. Además del inglés, ofrece un rendimiento superior en francés, alemán, español e italiano. Pruebo la comprensión del idioma alemán por parte del modelo pidiéndole que me diga dos frases sobre sostenibilidad:

Inmediato:

[INST] Geben Sie mir zwei Sätze zum Thema Nachhaltigkeit. [/INST]

Producción:

1. Nachhaltigkeit bedeutet, die Bedürfnisse der heutigen Generation zu befriedigen, ohne die Möglichkeiten künftiger Generationen zu gefährden.
2. Ein nachhaltiger Lebensstil umfasst den bewussten Umgang mit Ressourcen, wie Wasser, Energie und Rohstoffen, sowie den Schutz von Umwelt und Klima.
Diese Sätze sollten Ihnen einen guten Überblick über das Thema Nachhaltigkeit geben.

Interactuar programáticamente con Mistral Small
Puedo utilizar la interfaz de línea de comandos de AWS (AWS CLI) y el kit de desarrollo de software (SDK) de AWS para interactuar mediante programación con Mistral Small mediante las API de Amazon Bedrock. Utilizo el siguiente código en Python, que interactúa con las API de Amazon Bedrock Runtime con AWS SDK y pregunta: «¿Cuál es el color del cielo?»:

import argparse
import boto3
from botocore.exceptions import ClientError
import json

accept = "application/json"
content_type = "application/json"

def invoke_model(model_id, input_data, region, streaming): 
  client = boto3.client('bedrock-runtime', region_name=region)
  try:
    if streaming:
      response = client.invoke_model_with_response_stream(body=input_data, modelId=model_id, accept=accept, contentType=content_type)
    else:
      response = client.invoke_model(body=input_data, modelId=model_id, accept=accept, contentType=content_type)
    status_code = response['ResponseMetadata']['HTTPStatusCode']
    print(json.loads(response.get('body').read()))
  except ClientError as e:
    print(e)

if __name__ == "__main__":
  parser = argparse.ArgumentParser(description="Bedrock Testing Tool")
  parser.add_argument("--prompt", type=str, help="prompt to use", default="Hello")
  parser.add_argument("--max-tokens", type=int, default=64)
  parser.add_argument("--streaming", choices=["true", "false"], help="whether to stream or not", default="false")
  args = parser.parse_args()
  streaming = False
  if args.streaming == "true":
    streaming = True
  input_data = json.dumps({
    "prompt": f"[INST]{args.prompt}[/INST]",
    "max_tokens": args.max_tokens
  })
  invoke_model(model_id="mistral.mistral-small-2402-v1:0", input_data=input_data, region="us-east-1", streaming=streaming)

Obtengo el siguiente resultado:

{'outputs': [{'text': ' The color of the sky can vary depending on the time of day, weather,', 'stop_reason': 'length'}]}

Ya disponible
El modelo Mistral Small ahora está disponible en Amazon Bedrock en la región Este de EE. UU. (Norte de Virginia).

Para obtener más información, visite la página del producto Mistral AI en Amazon Bedrock. Para obtener detalles sobre los precios, revise la página de precios de Amazon Bedrock.

Para comenzar con Mistral Small en Amazon Bedrock, visite la consola de Amazon Bedrock y la Guía del usuario de Amazon Bedrock.

—Esra