Amazon Titan Text Embeddings V2 ahora disponible en Amazon Bedrock, optimizado para mejorar RAG | Servicios web de Amazon

La familia de modelos Amazon Titan, disponible exclusivamente en Amazon Bedrock, se basa en 25 años de experiencia de Amazon en avances en inteligencia artificial (IA) y aprendizaje automático (ML). Los modelos básicos (FM) de Amazon Titan ofrecen un conjunto completo de modelos de texto, multimodales y de imágenes previamente entrenados a los que se puede acceder a través de una API totalmente administrada. Capacitados en amplios conjuntos de datos, los modelos de Amazon Titan son potentes y versátiles, están diseñados para una variedad de aplicaciones y al mismo tiempo se adhieren a prácticas responsables de IA.

La última incorporación a la familia Amazon Titan es Amazon Titan Text Embeddings V2, el modelo de incrustación de texto de segunda generación de Amazon ahora disponible en Amazon Bedrock. Este nuevo modelo de incrustación de texto está optimizado para la generación aumentada de recuperación (RAG). Está previamente capacitado en más de 100 idiomas y en código.

Amazon Titan Text Embeddings V2 ahora le permite elegir el tamaño del vector de salida (256, 512 o 1024). Los tamaños de vectores más grandes crean respuestas más detalladas, pero también aumentarán el tiempo de cálculo. Las longitudes de vector más cortas son menos detalladas pero mejorarán el tiempo de respuesta. El uso de vectores más pequeños ayuda a reducir los costos de almacenamiento y la latencia para buscar y recuperar extractos de documentos de una base de datos vectorial. Medimos la precisión de los vectores generados por Amazon Titan Text Embeddings V2 y observamos que Los vectores con 512 dimensiones mantienen aproximadamente el 99 por ciento de la precisión. proporcionado por vectores con 1024 dimensiones. Los vectores con 256 dimensiones mantienen el 97 por ciento de la precisión. Esto significa que Puedes ahorrar un 75 por ciento en almacenamiento de vectores. (de 1024 a 256 dimensiones) y mantener aproximadamente el 97 por ciento de la precisión proporcionada por vectores más grandes.

Amazon Titan Text Embeddings V2 también propone una normalización de vectores unitarios mejorada que ayuda a mejorar la precisión al medir la similitud de vectores. Puede elegir entre versiones normalizadas o no normalizadas de las incorporaciones según su caso de uso (la normalizada es más precisa para los casos de uso de RAG). La normalización de un vector es el proceso de escalarlo para que tenga una unidad de longitud o magnitud de 1. Es útil para garantizar que todos los vectores tengan la misma escala y contribuyan por igual durante las operaciones vectoriales, evitando que algunos vectores dominen a otros debido a sus magnitudes mayores. .

Este nuevo modelo de incrustación de texto es adecuado para una variedad de casos de uso. Puede ayudarle a realizar búsquedas semánticas en documentos, por ejemplo, para detectar plagio. Puede clasificar etiquetas en representaciones aprendidas basadas en datos, por ejemplo, para clasificar películas en géneros. También puede mejorar la calidad y relevancia de los resultados de búsqueda recuperados o generados, por ejemplo, recomendando contenido basado en intereses utilizando RAG.

Cómo las incrustaciones ayudan a mejorar la precisión de RAG
Imagine que es un asistente de investigación con superpoderes para un modelo de lenguaje grande (LLM). Los LLM son como esos cerebritos que pueden escribir diferentes formatos de texto creativos, pero su conocimiento proviene de los enormes conjuntos de datos en los que fueron capacitados. Estos datos de entrenamiento pueden estar un poco desactualizados o carecer de detalles específicos para sus necesidades.

Aquí es donde entra RAG. RAG actúa como su asistente, obteniendo información relevante de una fuente personalizada, como una base de conocimientos de la empresa. Cuando el LLM necesita responder una pregunta, RAG proporciona la información más actualizada para ayudarlo a generar la mejor respuesta posible.

Para encontrar la información más actualizada, RAG utiliza incrustaciones. Imagine estas incrustaciones (o vectores) como resúmenes supercondensados ​​que capturan la idea clave de un fragmento de texto. Un modelo de incrustaciones de alta calidad, como Amazon Titan Text Embeddings V2, puede crear estos resúmenes con precisión, como un gran asistente que puede captar rápidamente los puntos importantes de cada documento. Esto garantiza que RAG recupere la información más relevante para el LLM, lo que genera respuestas más precisas y precisas.

Piense en ello como buscar en una biblioteca. Cada página del libro está indexada y representada por un vector. Con un mal sistema de búsqueda, es posible que termines con un montón de libros que no son exactamente lo que necesitas. Pero con un excelente sistema de búsqueda que comprenda el contenido (como un modelo integrado de alta calidad), obtendrá exactamente lo que está buscando, lo que facilitará mucho el trabajo del LLM de generar la respuesta.

Descripción general de Amazon Titan Text Embeddings V2
Amazon Titan Text Embeddings V2 está optimizado para una alta precisión y rendimiento de recuperación en dimensiones más pequeñas para reducir el almacenamiento y la latencia. Medimos que los vectores con 512 dimensiones mantienen aproximadamente el 99 por ciento de la precisión proporcionada por los vectores con 1024 dimensiones. Aquellos con 256 dimensiones ofrecen un 97 por ciento de precisión.

Cómo utilizar Amazon Titan Text Embeddings V2
Es muy probable que interactúe con Amazon Titan Text Embeddings V2 indirectamente a través de las bases de conocimiento de Amazon Bedrock. Knowledge Bases se encarga del trabajo pesado para crear una aplicación basada en RAG. Sin embargo, también puede utilizar la API de Amazon Bedrock Runtime para invocar directamente el modelo desde su código. He aquí un ejemplo sencillo en el Rápido lenguaje de programación (solo para mostrarle que puede usar cualquier lenguaje de programación, no solo Python):

import Foundation
import AWSBedrockRuntime 

let text = "This is the text to transform in a vector"

// create an API client
let client = try BedrockRuntimeClient(region: "us-east-1")

// create the request 
let request = InvokeModelInput(
   accept: "application/json",
   body: """
   {
      "inputText": "\(text)",
      "dimensions": 256,
      "normalize": true
   }
   """.data(using: .utf8), 
   contentType: "application/json",
   modelId: "amazon.titan-embed-text-v2:0")

// send the request 
let response = try await client.invokeModel(input: request)

// decode the response
let response = String(data: (response.body!), encoding: .utf8)

print(response ?? "")

El modelo toma tres parámetros en su carga útil:

• inputText – El texto a convertir a incrustaciones.
• normalize – Un indicador que indica si se normalizan o no las incorporaciones de salida. El valor predeterminado es verdadero, lo cual es óptimo para los casos de uso de RAG.
• dimensions – El número de dimensiones que deben tener las incrustaciones de salida. Se aceptan tres valores: 256, 512 y 1024 (el valor predeterminado).

Agregué la dependencia del SDK de AWS para Swift en mi Package.swift. yo tecleo swift run para construir y ejecutar este código. Imprime el siguiente resultado (truncado para que sea breve):

{"embedding":[-0.26757812,0.15332031,-0.015991211...-0.8203125,0.94921875],
"inputTextTokenCount":9}

Como es habitual, no olvide habilitar el acceso al nuevo modelo en la consola de Amazon Bedrock antes de utilizar la API.

Amazon Titan Text Embeddings V2 pronto será el LLM predeterminado propuesto por Knowledge Bases para Amazon Bedrock. Sus bases de conocimientos existentes creadas con el modelo original de Amazon Titan Text Embeddings seguirán funcionando sin cambios.

Para obtener más información sobre la familia de modelos Amazon Titan, vea el siguiente vídeo:

El nuevo modelo Amazon Titan Text Embeddings V2 está disponible hoy en Amazon Bedrock en las regiones de AWS Este de EE. UU. (Norte de Virginia) y Oeste de EE. UU. (Oregón). Consulte la lista completa de regiones para futuras actualizaciones.

Para obtener más información, consulte la página de productos y la página de precios de Amazon Titan en Amazon Bedrock. Además, no se pierda esta publicación de blog para aprender a utilizar los modelos de Amazon Titan Text Embeddings. También puedes visitar nuestro comunidad.aws sitio para encontrar contenido técnico detallado y descubrir cómo nuestras comunidades de constructores utilizan Amazon Bedrock en sus soluciones.

Pruebe Amazon Titan Text Embeddings V2 hoy mismo en la consola de Amazon Bedrock y envíe sus comentarios a AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS Support.

— seb