Nuevas API en Amazon Bedrock para mejorar las aplicaciones RAG, ya disponibles | Servicios web de Amazon

Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos básicos (FM) de alto rendimiento de empresas líderes en inteligencia artificial como Laboratorios AI21, antrópico, AdherirseMeta, Mistral AI, Estabilidad IAy Amazon a través de una única API, junto con un amplio conjunto de capacidades que necesita para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable. Amazon Bedrock Knowledge Bases es un servicio totalmente administrado que permite a los desarrolladores crear aplicaciones de IA generativa altamente precisas, de baja latencia, seguras y personalizables de manera rentable. Amazon Bedrock Knowledge Bases conecta modelos básicos (FM) con los datos internos de una empresa mediante recuperación de generación aumentada (RAG). RAG ayuda a los FM a ofrecer respuestas más relevantes, precisas y personalizadas.

En esta publicación, detallamos dos anuncios relacionados con las bases de conocimiento de Amazon Bedrock:

• Soporte para conectores personalizados e ingesta de datos de streaming.
• Soporte para reclasificar modelos.

Soporte para conectores personalizados e ingesta de datos de streaming
Hoy anunciamos compatibilidad con conectores personalizados y la ingesta de datos de transmisión en Amazon Bedrock Knowledge Bases. Los desarrolladores ahora pueden ingerir, actualizar o eliminar datos de manera eficiente y rentable directamente mediante una única llamada API, sin la necesidad de realizar una sincronización completa con la fuente de datos periódicamente o después de cada cambio. Los clientes desarrollan cada vez más aplicaciones de IA generativa basadas en RAG para diversos casos de uso, como chatbots y búsqueda empresarial. Sin embargo, enfrentan desafíos para mantener los datos actualizados en sus bases de conocimiento para que los usuarios finales de las aplicaciones siempre tengan acceso a la información más reciente. El proceso actual de sincronización de datos requiere mucho tiempo y requiere una sincronización completa cada vez que se agregan o eliminan nuevos datos. Los clientes también enfrentan desafíos al integrar datos de fuentes no compatibles, como Google Drive o Quip, en su base de conocimientos. Normalmente, para que estos datos estén disponibles en las bases de conocimiento de Amazon Bedrock, primero deben moverlos a una fuente compatible, como Amazon Simple Storage Service (Amazon S3), y luego iniciar el proceso de ingesta. Este paso adicional no sólo crea una sobrecarga adicional, sino que también introduce retrasos en el acceso a los datos para realizar consultas. Además, los clientes que desean utilizar datos en streaming (por ejemplo, fuentes de noticias o datos de sensores de Internet de las cosas (IoT)) enfrentan retrasos en la disponibilidad de datos en tiempo real debido a la necesidad de almacenar los datos en una fuente de datos compatible antes de la ingestión. A medida que los clientes amplían sus datos, estas ineficiencias y retrasos pueden convertirse en importantes cuellos de botella operativos y aumentar los costos. Teniendo todos estos desafíos en mente, es importante tener una forma más eficiente y rentable de ingerir y administrar datos de diversas fuentes para garantizar que la base de conocimientos esté actualizada y disponible para consultas en tiempo real. Con soporte para conector personalizado e ingesta de datos de transmisión, los clientes ahora pueden usar API directas para agregar, verificar el estado y eliminar datos de manera eficiente, sin la necesidad de enumerar y sincronizar todo el conjunto de datos.

como funciona
Se puede acceder a conectores personalizados y a la ingesta de datos de transmisión mediante la consola de Amazon Bedrock o el SDK de AWS.

1. Agregar documento
   La API Agregar documento se utiliza para agregar nuevos archivos a la base de conocimientos sin tener que realizar una sincronización completa después de agregar el documento. Los clientes pueden agregar contenido especificando la ruta de Amazon S3 del documento, el contenido de texto para agregar como documento al origen o como una cadena codificada en Base64.

   POST /knowledgebases/knowledgeBaseId/datasources/dataSourceId/documents HTTP/1.1
   Content-type: application/json
   
   {
      "maxResults": number,
      "nextToken": "string"
   }

2. Eliminar documento
   La API Eliminar documento se utiliza para eliminar datos de la base de conocimientos sin necesidad de realizar una sincronización completa después de que se haya eliminado el documento.

   {
       "clientToken": "string",
       "documentIdentifiers": [{ // Length 1-10 elements 
           "dataSourceType": S3 | CUSTOM,
           "s3": {
               "uri": "string"
           },
           "custom": {
               "id": "string"
           }
       }]
   }

3. Listar documento(s)
   La API de lista de documentos devuelve una lista de registros que coinciden con los criterios especificados en los parámetros de solicitud.

   {
       "maxResults": number,
       "nextToken": "string"
   }

4. Obtener documento
   La API Obtener documento devuelve información sobre los documentos que coinciden con los criterios especificados en los parámetros de solicitud.

   {
       "documentIdentifiers": [{ // Length 1-10 elements 
           "dataSourceType": S3 | CUSTOM,
           "s3": {
               "uri": "string"
           },
           "custom": {
               "id": "string"
           }
       }]
   }

Ahora disponible
La compatibilidad con conectores personalizados y la ingesta de datos de transmisión en Amazon Bedrock Knowledge Bases está disponible hoy en todas las regiones de AWS donde Amazon Bedrock Knowledge Bases está disponible. Consulte la lista de regiones para obtener detalles y actualizaciones futuras. Para obtener más información sobre las bases de conocimientos de Amazon Bedrock, visite la página del producto Amazon Bedrock. Para obtener detalles sobre los precios, revise la página de precios de Amazon Bedrock.

Enviar comentarios a AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS e interactúe con la comunidad de creadores de IA generativa en comunidad.aws.

Soporte para reclasificar modelos
Hoy también anunciamos la nueva API Rerank en Amazon Bedrock para ofrecer a los desarrolladores una forma de utilizar modelos de reclasificación para mejorar el rendimiento de sus aplicaciones basadas en RAG al mejorar la relevancia y precisión de las respuestas. La búsqueda semántica, respaldada por incrustaciones de vectores, incrusta documentos y consultas en un espacio vectorial semántico de alta dimensión donde los textos con significados relacionados están cerca en el espacio vectorial y, por lo tanto, son semánticamente similares, de modo que devuelve elementos similares incluso si no comparten ninguno. palabras con la consulta. La búsqueda semántica se utiliza en las aplicaciones RAG porque la relevancia de los documentos recuperados para la consulta de un usuario juega un papel fundamental a la hora de proporcionar respuestas precisas y las aplicaciones RAG recuperan una variedad de documentos relevantes del almacén de vectores.

Sin embargo, la búsqueda semántica tiene limitaciones a la hora de priorizar los documentos más adecuados según las preferencias del usuario o el contexto de la consulta, especialmente cuando la consulta del usuario es compleja, ambigua o implica un contexto matizado. Esto puede llevar a recuperar documentos que sólo son parcialmente relevantes para la pregunta del usuario. Esto conduce a otro desafío donde la citación y atribución adecuadas de fuentes no se atribuyen a las fuentes correctas, lo que lleva a una pérdida de confianza y transparencia en la aplicación basada en RAG. Para abordar estas limitaciones, los futuros sistemas RAG deberían priorizar el desarrollo de algoritmos de clasificación sólidos que puedan comprender mejor la intención y el contexto del usuario. Además, es importante centrarse en mejorar la evaluación de la credibilidad de las fuentes y las prácticas de citación para confirmar la confiabilidad y transparencia de las respuestas generadas.

Los modelos de reclasificación avanzados resuelven estos desafíos al priorizar el contenido más relevante de una base de conocimientos para una consulta y un contexto adicional para garantizar que los modelos básicos reciban el contenido más relevante, lo que conduce a respuestas más precisas y contextualmente apropiadas. Reclasificar los modelos puede reducir los costos de generación de respuestas al priorizar la información que se envía al modelo de generación.

como funciona
En el lanzamiento, admitimos los modelos de reclasificación de Amazon Rerank 1.0 y Cohere Rerank 3.5. Para el tutorial, usaré el modelo Amazon Rerank 1.0. Comenzaré solicitando acceso a este modelo.

Una vez que se ha concedido el acceso, creo una base de conocimientos utilizando la experiencia existente de la Consola de bases de conocimientos de Amazon Bedrock (también hay disponible un proceso API como alternativa). La base de conocimientos contiene dos fuentes de datos; a lista de reproducción de músicay una lista de películas.

Tan pronto como se crea la base de conocimientos, edito el rol de servicio para agregar la política que contiene la bedrock:Rerank acción. La API toma la consulta del usuario como entrada junto con la lista de documentos que deben reclasificarse. El resultado será una lista de documentos priorizados y reordenados.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.rerank-v1:0"
            ]
        },
        {
            "Sid": "Statement2",
            "Effect": "Allow",
            "Action": [
                "bedrock:Rerank"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

El último paso es sincronizar las fuentes de datos para indexar sus contenidos para la búsqueda. Una sincronización puede tardar entre unos minutos y unas horas.

La base de conocimientos está lista para su uso. El RetrieveAndGenerate La API reclasifica los resultados recuperados del almacén de datos vectoriales según su relevancia con la consulta.

Por el contrario, ejecuté la misma consulta con los mismos datos en una cuenta separada que no tiene la API Rerank. El resultado es que los resultados no se reclasifican según su relevancia con la consulta. Esto podría afectar el rendimiento y comprometer la precisión de las respuestas.

Ahora disponible
La API Rerank en Amazon Bedrock está disponible hoy en las siguientes regiones de AWS: EE. UU. Oeste (Oregón), Canadá (Central), Europa (Frankfurt) y Asia Pacífico (Tokio). Consulte la lista de regiones para obtener detalles y actualizaciones futuras. La API de reclasificación se puede utilizar de forma independiente para reclasificar documentos incluso si no utiliza las bases de conocimientos de Amazon Bedrock. Para obtener más información sobre las bases de conocimientos de Amazon Bedrock, visite la página del producto Amazon Bedrock. Para obtener detalles sobre los precios, revise la página de precios de Amazon Bedrock.

Enviar comentarios a AWS re: Publicación para Amazon Bedrock o a través de sus contactos habituales de AWS e interactúe con la comunidad de creadores de IA generativa en comunidad.aws.

– Veliswa.