Editor Top
|
|
Hoy anunciamos la aceleración de GPU sin servidor y la optimización automática para el índice de vectores en Amazon OpenSearch Service, que le ayuda a crear bases de datos de vectores a gran escala más rápidamente con costos más bajos y a optimizar automáticamente los índices de vectores para obtener compensaciones óptimas entre calidad, velocidad y costo de búsqueda.
Estas son las nuevas capacidades introducidas hoy:
- aceleración de GPU – Puede crear bases de datos vectoriales hasta 10 veces más rápido con una cuarta parte del costo de indexación en comparación con la aceleración sin GPU, y puede crear bases de datos vectoriales a escala de mil millones en menos de una hora. Con ganancias significativas en ahorro de costos y velocidad, obtiene una ventaja en tiempo de comercialización, velocidad de innovación y adopción de búsqueda vectorial a escala.
- Optimización automática – Puede encontrar el mejor equilibrio entre latencia de búsqueda, calidad y requisitos de memoria para su campo vectorial sin necesidad de tener experiencia en vectores. Esta optimización le ayuda a lograr mejores ahorros de costos y tasas de recuperación en comparación con las configuraciones de índice predeterminadas, mientras que el ajuste manual del índice puede tardar semanas en completarse.
Puede utilizar estas capacidades para crear bases de datos vectoriales de forma más rápida y rentable en OpenSearch Service. Puede utilizarlos para impulsar aplicaciones de IA generativa, buscar catálogos de productos y bases de conocimientos, y más. Puede habilitar la aceleración de GPU y la optimización automática cuando crea un nuevo dominio o colección de OpenSearch, así como también actualizar un dominio o colección existente.
¡Veamos cómo funciona!
Aceleración de GPU para índice vectorial
Cuando habilita la aceleración de GPU en su dominio de OpenSearch Service o colección Serverless, OpenSearch Service detecta automáticamente oportunidades para acelerar sus cargas de trabajo de indexación de vectores. Esta aceleración ayuda a construir las estructuras de datos vectoriales en su dominio de servicio OpenSearch o colección sin servidor.
No es necesario aprovisionar las instancias de GPU, administrar su uso ni pagar por el tiempo de inactividad. OpenSearch Service aísla de forma segura sus cargas de trabajo aceleradas en la nube privada virtual de Amazon (Amazon VPC) de su dominio o colección dentro de su cuenta. Solo paga por el procesamiento útil a través de los precios de OpenSearch Compute Units (OCU) – Vector Acceleration.
Para habilitar la aceleración de GPU, vaya a la consola del servicio OpenSearch y elija Habilitar la aceleración de GPU en el Funciones avanzadas sección cuando crea o actualiza su dominio de servicio OpenSearch o colección sin servidor.
Puede utilizar el siguiente comando de AWS Command Line Interface (AWS CLI) para habilitar la aceleración de GPU para un dominio de OpenSearch Service existente.
$ aws opensearch update-domain-config \
--domain-name my-domain \
--aiml-options '{"ServerlessVectorAcceleration": {"Enabled": true}}'
Puede crear un índice vectorial optimizado para el procesamiento de GPU. Este índice de ejemplo almacena vectores de 768 dimensiones para incrustaciones de texto habilitando index.knn.remote_index_build.enabled.
PUT my-vector-index
{
"settings": {
"index.knn": true,
"index.knn.remote_index_build.enabled": true
},
"mappings": {
"properties": {
"vector_field": {
"type": "knn_vector",
"dimension": 768,
},
"text": {
"type": "text"
}
}
}
}Ahora puede agregar datos vectoriales y optimizar su índice utilizando operaciones estándar del servicio OpenSearch utilizando la API masiva. La aceleración de GPU se aplica automáticamente a las operaciones de indexación y fusión forzada.
POST my-vector-index/_bulk
{"index": {"_id": "1"}}
{"vector_field": [0.1, 0.2, 0.3, ...], "text": "Sample document 1"}
{"index": {"_id": "2"}}
{"vector_field": [0.4, 0.5, 0.6, ...], "text": "Sample document 2"}Ejecutamos puntos de referencia de creación de índices y observamos ganancias de velocidad gracias a la aceleración de la GPU que oscilaron entre 6,4 y 13,8 veces. Manténgase atento a más puntos de referencia y más detalles en próximas publicaciones.
Para obtener más información, visite Aceleración de GPU para indexación de vectores en la Guía para desarrolladores de Amazon OpenSearch Service.
Bases de datos vectoriales con optimización automática
Puede utilizar la nueva función de ingesta de vectores para ingerir documentos de Amazon Simple Storage Service (Amazon S3), generar incrustaciones de vectores, optimizar índices automáticamente y crear índices de vectores a gran escala en minutos. Durante la ingesta, la optimización automática genera recomendaciones basadas en sus campos vectoriales e índices de su dominio de servicio OpenSearch o colección Serverless. Puede elegir una de estas recomendaciones para ingerir e indexar rápidamente su conjunto de datos vectoriales en lugar de configurar manualmente estas asignaciones.
Para comenzar, elija Ingestión de vectores bajo el Ingestión menú en el panel de navegación izquierdo de la consola de OpenSearch Service.
Puede crear un nuevo trabajo de ingesta de vectores con los siguientes pasos:
- Preparar conjunto de datos – Prepare los documentos de parquet del servicio OpenSearch en un depósito S3 y elija un dominio o colección para su destino.
- Configurar índices y automatizar optimizaciones – Optimice automáticamente sus campos vectoriales o configúrelos manualmente.
- Ingerir y acelerar la indexación – Utilice canalizaciones de ingesta de OpenSearch para cargar datos desde Amazon S3 en OpenSearch Service. Cree índices vectoriales grandes hasta 10 veces más rápido a una cuarta parte del costo.
En Paso 2configure su índice de vectores con el campo vectorial de optimización automática. La optimización automática está actualmente limitada a un campo vectorial. Se pueden ingresar más asignaciones de índice una vez que se haya completado el trabajo de optimización automática.
La configuración de optimización de su campo vectorial depende de su caso de uso. Por ejemplo, si necesita una alta calidad de búsqueda (tasa de recuperación) y no necesita respuestas más rápidas, elija Modesto para el Requisitos de latencia (p90) y mayor o igual a 0,9 para el Calidad de búsqueda aceptable (recordación). Cuando crea un trabajo, comienza a ingerir datos vectoriales y a optimizar automáticamente el índice de vectores. El tiempo de procesamiento depende de la dimensionalidad del vector.
Para obtener más información, visite Optimizar automáticamente el índice de vectores en la Guía para desarrolladores del servicio OpenSearch.
Ahora disponible
La aceleración de GPU en Amazon OpenSearch Service ahora está disponible en las regiones Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Asia Pacífico (Sídney), Asia Pacífico (Tokio) y Europa (Irlanda). La optimización automática en OpenSearch Service ahora está disponible en las regiones Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Asia Pacífico (Mumbai), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Europa (Frankfurt) y Europa (Irlanda).
El servicio OpenSearch cobra por separado por OCU – Vector Acceleration usado solo para indexar sus bases de datos vectoriales. Para obtener más información, visite la página de precios del servicio OpenSearch.
Pruébelo y envíe comentarios al AWS re: Publicación para el servicio Amazon OpenSearch o a través de sus contactos habituales de AWS Support.
— chany
