La familia de modelos Jamba 1.5 de AI21 Labs ya está disponible en Amazon Bedrock | Amazon Web Services

Hoy anunciamos la disponibilidad de la nueva y potente familia de modelos de lenguaje de gran tamaño (LLM) Jamba 1.5 de AI21 Labs en Amazon Bedrock. Estos modelos representan un avance significativo en las capacidades de lenguaje de contexto largo, ya que ofrecen velocidad, eficiencia y rendimiento en una amplia gama de aplicaciones. La familia de modelos Jamba 1.5 incluye Jamba 1.5 Mini y Jamba 1.5 Large. Ambos modelos admiten una ventana de contexto de token de 256K, salida JSON estructurada, llamada de funciones y son capaces de procesar objetos de documentos.

AI21 Labs es líder en la creación de modelos básicos y sistemas de inteligencia artificial (IA) para empresas. Juntos, AI21 Labs y AWS están capacitando a clientes de todas las industrias para crear, implementar y escalar aplicaciones de IA generativas que resuelvan desafíos del mundo real y promuevan la innovación a través de una colaboración estratégica. Con los modelos avanzados y listos para producción de AI21 Labs junto con los servicios dedicados y la poderosa infraestructura de Amazon, los clientes pueden aprovechar los LLM en un entorno seguro para dar forma al futuro de cómo procesamos la información, nos comunicamos y aprendemos.

¿Qué es Jamba 1.5?
Los modelos Jamba 1.5 aprovechan una arquitectura híbrida única que combina la arquitectura del modelo de transformador con Modelo de espacio de estados estructurado (SSM) Tecnología. Este enfoque innovador permite que los modelos Jamba 1.5 gestionen ventanas de contexto largas de hasta 256 000 tokens, manteniendo al mismo tiempo las características de alto rendimiento de los modelos de transformadores tradicionales. Puede obtener más información sobre esta arquitectura híbrida SSM/transformador en Jamba: un modelo de lenguaje híbrido entre Transformer y Mamba Libro blanco.

Ahora puedes utilizar dos nuevos modelos Jamba 1.5 de AI21 en Amazon Bedrock:

• Jamba 1.5 Grande Se destaca en tareas de razonamiento complejo en todas las longitudes de indicaciones, lo que lo hace ideal para aplicaciones que requieren resultados de alta calidad en entradas largas y cortas.
• Jamba 1.5 Mini está optimizado para el procesamiento de baja latencia de indicaciones largas, lo que permite un análisis rápido de documentos y datos extensos.

Los puntos fuertes de los modelos Jamba 1.5 incluyen:

• Manejo de contexto largo – Con una longitud de contexto de token de 256K, los modelos Jamba 1.5 pueden mejorar la calidad de las aplicaciones empresariales, como el análisis y resumen de documentos extensos, así como los flujos de trabajo de agentes y RAG.
• Plurilingüe – Soporte para inglés, español, francés, portugués, italiano, holandés, alemán, árabe y hebreo.
• Amigable con los desarrolladores – Soporte nativo para salida JSON estructurada, llamada de funciones y capacidad de digerir objetos de documentos.
• Velocidad y eficiencia – AI21 midió el rendimiento de los modelos Jamba 1.5 y compartió que los modelos demuestran una inferencia hasta 2,5 veces más rápida en contextos largos que otros modelos de tamaños comparables. Para conocer los resultados de rendimiento detallados, visite Anuncio de la familia de modelos Jamba en el sitio web de AI21.

Comience a utilizar los modelos Jamba 1.5 en Amazon Bedrock
Para comenzar a utilizar los nuevos modelos Jamba 1.5, vaya a la consola Amazon Bedrock, elija Acceso al modelo en el panel inferior izquierdo y solicite acceso a Jamba 1.5 Mini o Jamba 1.5 Large.

Para probar los modelos Jamba 1.5 en la consola Amazon Bedrock, elija el Texto o Charlar Zona de juegos en el panel de menú izquierdo. Luego, seleccione Seleccionar modelo y seleccione AI21 como la categoría y Jamba 1.5 Mini o Jamba 1.5 Grande como modelo.

Al elegir Ver solicitud de APIPuede obtener un ejemplo de código sobre cómo invocar el modelo utilizando la interfaz de línea de comandos de AWS (AWS CLI) con el mensaje de ejemplo actual.

Puede seguir los ejemplos de código en la documentación de Amazon Bedrock para acceder a los modelos disponibles mediante los SDK de AWS y crear sus aplicaciones utilizando varios lenguajes de programación.

El siguiente ejemplo de código Python muestra cómo enviar un mensaje de texto a los modelos Jamba 1.5 utilizando la API de Amazon Bedrock Converse para la generación de texto.

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime client.
bedrock_runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

# Set the model ID.
# modelId = "ai21.jamba-1-5-mini-v1:0"
model_id = "ai21.jamba-1-5-large-v1:0"

# Start a conversation with the user message.
user_message = "What are 3 fun facts about mambas?"
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = bedrock_runtime.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 256, "temperature": 0.7, "topP": 0.8},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

Los modelos Jamba 1.5 son perfectos para casos de uso como análisis de documentos emparejados, análisis de cumplimiento y respuesta a preguntas para documentos largos. Pueden comparar fácilmente información de múltiples fuentes, verificar si los pasajes cumplen con pautas específicas y manejar documentos muy largos o complejos. Puede encontrar un código de ejemplo en Repositorio de GitHub de AI21 en AWSPara obtener más información sobre cómo incitar a los modelos de Jamba de manera efectiva, consulte Documentación de AI21.

Ya disponible
La familia de modelos Jamba 1.5 de AI21 Labs ya está disponible en Amazon Bedrock en la región de AWS del este de EE. UU. (Norte de Virginia). Consulte la lista completa de regiones para obtener actualizaciones futuras. Para obtener más información, consulte la página de productos y precios de AI21 Labs en Amazon Bedrock.

Pruebe los modelos Jamba 1.5 en la consola Amazon Bedrock hoy mismo y envíe sus comentarios a AWS re:Post para Amazon Bedrock o a través de sus contactos habituales de soporte de AWS.

Visita nuestra comunidad.aws sitio para encontrar contenido técnico profundo y descubrir cómo nuestras comunidades de Builder utilizan Amazon Bedrock en sus soluciones.

— Hormiga