Cree aplicaciones RAG y de IA generativa basadas en agentes con el nuevo modelo Amazon Titan Text Premier, disponible en Amazon Bedrock | Servicios web de Amazon

Hoy nos complace darle la bienvenida a un nuevo miembro de la familia de modelos Amazon Titan: Amazon Titan Text Premier, ahora disponible en Amazon Bedrock.

Después de Amazon Titan Text Lite y Titan Text Express, Titan Text Premier es el último modelo en lenguaje grande (LLM) de la familia de modelos Amazon Titan, lo que aumenta aún más su elección de modelos dentro de Amazon Bedrock. Ahora puedes elegir entre los siguientes modelos Titan Text en Bedrock:

• Titán Texto Premier es el Titan LLM más avanzado para aplicaciones empresariales basadas en texto. Con una longitud de contexto máxima de 32 000 tokens, se ha optimizado específicamente para casos de uso empresarial, como la creación de recuperación de generación aumentada (RAG) y aplicaciones basadas en agentes con bases de conocimiento y agentes para Amazon Bedrock. Al igual que todos los LLM de Titan, Titan Text Premier ha sido capacitado previamente en datos de texto multilingües, pero es más adecuado para tareas en inglés. Puede personalizar aún más (vista previa) Titan Text Premier con sus propios datos en Amazon Bedrock para crear aplicaciones que sean específicas para su dominio, organización, estilo de marca y caso de uso. Profundizaré en los aspectos más destacados y el rendimiento del modelo en las siguientes secciones de esta publicación.
• Titán texto expreso Es ideal para una amplia gama de tareas, como la generación de texto abierto y el chat conversacional. El modelo tiene una longitud de contexto máxima de 8K tokens.
• Titán Texto Lite está optimizado para la velocidad, es altamente personalizable y es ideal para ajustarlo para tareas como el resumen de artículos y la redacción publicitaria. El modelo tiene una longitud de contexto máxima de tokens 4K.

Ahora, analicemos Titan Text Premier con más detalle.

Aspectos destacados del modelo Amazon Titan Text Premier
Titan Text Premier se ha optimizado para RAG de alta calidad y aplicaciones basadas en agentes y personalización mediante ajustes, al tiempo que incorpora prácticas responsables de inteligencia artificial (IA).

Optimizado para RAG y aplicaciones basadas en agentes – Titan Text Premier se ha optimizado específicamente para RAG y aplicaciones basadas en agentes en respuesta a los comentarios de los clientes, donde los encuestados nombraron a RAG como uno de sus componentes clave en la creación de aplicaciones de IA generativa. Los datos de entrenamiento del modelo incluyen ejemplos para tareas como resúmenes, preguntas y respuestas y chat conversacional y se han optimizado para la integración con bases de conocimiento y agentes de Amazon Bedrock. La optimización incluye entrenar el modelo para manejar los matices de estas características, como sus formatos de mensajes específicos.

• RAG de alta calidad mediante la integración con bases de conocimiento para Amazon Bedrock: Con una base de conocimientos, puede conectar de forma segura los modelos básicos (FM) en Amazon Bedrock a los datos de su empresa para RAG. Ahora puede elegir Titan Text Premier con bases de conocimiento para implementar tareas de resúmenes y respuestas a preguntas sobre los datos propietarios de su empresa.
  
• Automatización de tareas mediante la integración con Agents for Amazon Bedrock – También puede crear agentes personalizados que puedan realizar tareas de varios pasos en diferentes sistemas de la empresa y fuentes de datos utilizando Titan Text Premier con Agents for Amazon Bedrock. Al utilizar agentes, puede automatizar tareas para sus clientes internos o externos, como la gestión de pedidos minoristas o el procesamiento de reclamaciones de seguros.
  

Ya vemos clientes explorando Titan Text Premier para implementar asistentes interactivos de IA que crean resúmenes a partir de datos no estructurados, como correos electrónicos. También están explorando el modelo para extraer información relevante en los sistemas y fuentes de datos de la empresa para crear resúmenes de productos más significativos.

Aquí hay un vídeo de demostración creado por mi colega. Brooke Jamieson eso muestra un ejemplo de cómo puede poner Titan Text Premier a trabajar para su negocio.

Ajuste personalizado de Amazon Titan Text Premier (vista previa) – Puede ajustar Titan Text Premier con sus propios datos en Amazon Bedrock para aumentar la precisión del modelo proporcionando su propio conjunto de datos de entrenamiento etiquetados para tareas específicas. Personalizar Titan Text Premier ayuda a especializar aún más su modelo y crear experiencias de usuario únicas que reflejen la marca, el estilo, la voz y los servicios de su empresa.

Construido responsablemente – Amazon Titan Text Premier incorpora prácticas seguras y confiables. La tarjeta de servicio de IA de AWS para Amazon Titan Text Premier documenta el rendimiento del modelo en puntos de referencia clave de IA responsable, desde la seguridad y la equidad hasta la veracidad y la solidez. El modelo también se integra con Guardrails for Amazon Bedrock para que pueda implementar medidas de seguridad adicionales personalizadas según los requisitos de su aplicación y las políticas responsables de IA. Amazon indemniza a los clientes que utilizan de manera responsable los modelos Amazon Titan contra reclamaciones de que los modelos Amazon Titan disponibles generalmente o sus productos infringen derechos de autor de terceros.

Rendimiento del modelo Amazon Titan Text Premier
Titan Text Premier se ha creado para ofrecer amplia inteligencia y utilidad relevante para las empresas. La siguiente tabla muestra los resultados de la evaluación de puntos de referencia públicos que evalúan capacidades críticas, como seguimiento de instrucciones, comprensión lectora y razonamiento de varios pasos, comparándolos con modelos de precios comparables. El sólido desempeño en estos diversos y desafiantes puntos de referencia resalta que Titan Text Premier está diseñado para manejar una amplia gama de casos de uso en aplicaciones empresariales, ofreciendo un excelente rendimiento de precio. Para todos los puntos de referencia que se enumeran a continuación, una puntuación más alta es una mejor puntuación.

Capacidad	Punto de referencia	Descripción	Amazonas	Google	Abierto AI
			Titán Texto Premier	Géminis Pro 1.0	GPT-3.5
General	MMLU (Papel)	Representación de preguntas en 57 temas.	70,4% (5 disparos)	71,8% (5 disparos)	70,0% (5 disparos)
Instrucciones siguientes	Valor IFE (Papel)	Evaluación de seguimiento de instrucciones para modelos de lenguaje grandes	64,6% (0 disparos)	no publicado	no publicado
Comprensión lectora	CARRERA-H (Papel)	Comprensión lectora a gran escala.	89,7% (5 disparos)	no publicado	no publicado
Razonamiento	HellaSwag (Papel)	Razonamiento de sentido común	92,6% (10 disparos)	84,7% (10 disparos)	85,5% (10 disparos)
	CAÍDA, puntuación F1 (Papel)	Razonamiento sobre texto	77,9 (3 disparos)	74.1 (Disparos variables)	64.1 (3 disparos)
	Banco GRANDE Duro (Papel)	Tareas desafiantes que requieren razonamiento de varios pasos	73,7% (CoT de 3 disparos)	75,0% (CoT de 3 disparos)	no publicado
	Desafío ARC (Papel)	Razonamiento de sentido común	85,8% (5 disparos)	no publicado	85,2% (25 disparos)

Nota: Los puntos de referencia evalúan el rendimiento del modelo mediante una variación de indicaciones de pocos disparos y de cero disparos. Con indicaciones de pocos disparos, le proporciona al modelo una serie de ejemplos concretos (tres para 3 disparos, cinco para 5 disparos, etc.) de cómo resolver una tarea específica. Esto demuestra la capacidad del modelo para aprender del ejemplo, lo que se denomina aprendizaje en contexto. Por otro lado, con las indicaciones de disparo cero, se evalúa la capacidad de un modelo para realizar tareas basándose únicamente en su conocimiento preexistente y su comprensión del lenguaje general sin proporcionar ningún ejemplo.

Comience con Amazon Titan Text Premier
Para habilitar el acceso a Amazon Titan Text Premier, navegue hasta la consola de Amazon Bedrock y elija Acceso al modelo en el panel inferior izquierdo. Sobre el Acceso al modelo página de descripción general, elija la Administrar el acceso al modelo en la esquina superior derecha y habilite el acceso a Amazon Titan Text Premier.

Para usar Amazon Titan Text Premier en la consola Bedrock, elija Texto o Charlar bajo Parques infantiles en el panel de menú izquierdo. Entonces escoge Seleccionar modelo y seleccione Amazonas como la categoría y Titán Texto Premier como modelo. Para explorar el modelo, puede cargar ejemplos. La siguiente captura de pantalla muestra uno de esos ejemplos que demuestra la cadena de pensamiento (CoT) y las capacidades de razonamiento del modelo.

Por elección Ver solicitud de API, puede obtener un ejemplo de código de cómo invocar el modelo utilizando la interfaz de línea de comandos de AWS (AWS CLI) con el mensaje de ejemplo actual. También puede acceder a Amazon Bedrock y a los modelos disponibles mediante los SDK de AWS. En el siguiente ejemplo, utilizaré AWS SDK para Python (Boto3).

Amazon Titan Text Premier en acción
Para esta demostración, le pido a Amazon Titan Text Premier que resuma una de mis publicaciones anteriores del blog de noticias de AWS que anunció la disponibilidad de Amazon Titan Image Generator y la función de detección de marcas de agua.

Para tareas de resumen, una plantilla de aviso recomendada tiene este aspecto:

The following is text from a {{Text Category}}:
{{Text}}
Summarize the {{Text Category}} in {{length of summary}}

Para conocer más prácticas recomendadas sobre sugerencias, consulte la Pautas de ingeniería de mensajes de texto de Amazon Titan.

Adapto esta plantilla a mi ejemplo y defino el mensaje. Como preparación, guardé mi publicación del blog de noticias como un archivo de texto y la leí en el post variable de cadena.

prompt = """
The following is text from a AWS News Blog post:

<text>
%s
</text>

Summarize the above AWS News Blog post in a short paragraph.
""" % post

Al igual que los modelos anteriores de Amazon Titan Text, Amazon Titan Text Premier admite temperature y topP parámetros de inferencia para controlar la aleatoriedad y diversidad de la respuesta, así como maxTokenCount y stopSequences para controlar la duración de la respuesta.

import boto3
import json

bedrock_runtime = boto3.client(service_name="bedrock-runtime")

body = json.dumps({
    "inputText": prompt, 
    "textGenerationConfig":{  
        "maxTokenCount":256,
        "stopSequences":[],
        "temperature":0,
        "topP":0.9
    }
})

Entonces, uso el InvokeModel API para enviar la solicitud de inferencia.

response = bedrock_runtime.invoke_model(
    body=body,
	modelId="amazon.titan-text-premier-v1:0",
    accept="application/json", 
    contentType="application/json"
)

response_body = json.loads(response.get('body').read())
print(response_body.get('results')[0].get('outputText'))

Y aquí está la respuesta:

Amazon Titan Image Generator ahora está disponible de forma generalizada en Amazon Bedrock, lo que le brinda una manera fácil de crear y escalar aplicaciones de IA generativa con nuevas capacidades de generación y edición de imágenes, incluida la personalización instantánea de imágenes. La detección de marcas de agua para Titan Image Generator ahora está disponible de forma generalizada en la consola de Amazon Bedrock. Hoy, también presentamos una nueva API DetectGeneratedContent (vista previa) en Amazon Bedrock que verifica la existencia de esta marca de agua y le ayuda a confirmar si Titan Image Generator generó una imagen.

Para obtener más ejemplos en diferentes lenguajes de programación, consulte la sección de ejemplos de código en la Guía del usuario de Amazon Bedrock.

Más recursos
Aquí hay algunos recursos adicionales que pueden resultarle útiles:

Casos de uso previstos y más — Consulte la tarjeta de servicio de IA de AWS para Amazon Titan Text Premier para obtener más información sobre los casos de uso previstos, el diseño y la implementación de los modelos, así como las mejores prácticas de optimización del rendimiento.

Construcciones CDK de IA generativa de AWS — Amazon Titan Text Premier cuenta con el respaldo de Construcciones CDK de IA generativa de AWSuna extensión de código abierto del kit de desarrollo en la nube de AWS (AWS CDK), que proporciona implementaciones de muestra de AWS CDK para patrones de IA generativa comunes.

Modelos Amazon Titan: Si tienes curiosidad por saber más sobre los modelos Amazon Titan en general, mira el siguiente vídeo. Dra. Sherry Marcusdirector de ciencias aplicadas de Amazon Bedrock, comparte cómo la familia de modelos Amazon Titan incorpora los 25 años de experiencia que Amazon tiene innovando con IA y aprendizaje automático (ML) en todo su negocio.

Ya disponible
Amazon Titan Text Premier está disponible hoy en la región AWS EE. UU. Este (Norte de Virginia). El ajuste personalizado para Amazon Titan Text Premier está disponible hoy en versión preliminar en la región de AWS EE. UU. Este (Norte de Virginia). Consulte la lista completa de regiones para futuras actualizaciones. Para obtener más información sobre la familia de modelos Amazon Titan, visite la página del producto Amazon Titan. Para obtener detalles sobre los precios, revise la página de precios de Amazon Bedrock.

Pruebe Amazon Titan Text Premier en la consola de Amazon Bedrock hoy, envíe sus comentarios a AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS e interactúe con la comunidad de creadores de IA generativa en comunidad.aws.

— Antje