El equipo presenta un método rentable para rediseñar los motores de búsqueda para IA

El motor de búsqueda de Internet del futuro estará impulsado por inteligencia artificial. Ya se puede elegir entre una gran cantidad de motores de búsqueda impulsados ​​por IA o mejorados por IA, aunque su confiabilidad a menudo todavía deja mucho que desear. Sin embargo, un equipo de científicos informáticos de la Universidad de Massachusetts Amherst recientemente publicado y lanzó un novedoso sistema para evaluar la confiabilidad de las búsquedas generadas por IA.

Llamado «eRAG», el método es una forma de poner la IA y el motor de búsqueda en conversación entre sí, y luego evaluar la calidad de los motores de búsqueda para el uso de la IA. El trabajo se publica como parte del Actas de la 47.a Conferencia Internacional ACM SIGIR sobre Investigación y Desarrollo en Recuperación de Información.

«Todos los motores de búsqueda que siempre hemos utilizado fueron diseñados para humanos», dice Alireza Salemi, estudiante de posgrado en la Facultad Manning de Información y Ciencias de la Computación de la UMass Amherst y autor principal del artículo.

«Funcionan bastante bien cuando el usuario es un humano, pero el motor de búsqueda del usuario principal del futuro será uno de los modelos de lenguaje grande (LLM) de IA, como ChatGPT. Esto significa que necesitamos rediseñar completamente la forma en que los motores de búsqueda trabajo, y mi investigación explora cómo los LLM y los motores de búsqueda pueden aprender unos de otros».

El problema básico que enfrentan Salemi y el autor principal de la investigación, Hamed Zamani, profesor asociado de información y ciencias informáticas en la UMass Amherst, es que los humanos y los LLM tienen necesidades de información y comportamientos de consumo muy diferentes.

Por ejemplo, si no recuerdas bien el título y el autor de ese nuevo libro que acaba de publicarse, puedes ingresar una serie de términos de búsqueda generales, como «¿cuál es la nueva novela de espías con un giro ambiental de ese famoso?». escritor», y luego reduzca los resultados, o realice otra búsqueda a medida que recuerde más información (la autora es una mujer que escribió la novela «Lanzallamas»), hasta que encuentre el resultado correcto («Creation Lake», de Rachel Kushner, que Google regresó como tercer resultado después de seguir el proceso anterior).

Pero así es como trabajan los humanos, no los LLM. Están capacitados en conjuntos de datos enormes y específicos, y cualquier cosa que no esté en ese conjunto de datos, como el nuevo libro que acaba de llegar a los stands, es efectivamente invisible para el LLM.

Además, no son particularmente confiables con solicitudes confusas, porque el LLM necesita poder solicitar más información al motor; pero para hacerlo, necesita conocer la información adicional correcta que debe solicitar.

Los científicos informáticos han ideado una forma de ayudar a los LLM a evaluar y elegir la información que necesitan, llamada «generación de recuperación aumentada» o RAG. RAG es una forma de complementar los LLM con las listas de resultados producidas por los motores de búsqueda. Pero, por supuesto, la pregunta es, ¿cómo evaluar qué tan útiles son los resultados de la recuperación para los LLM?

Hasta ahora, los investigadores han ideado tres formas principales de hacer esto: la primera es colaborar con un grupo de humanos para determinar la precisión de los juicios de relevancia. Sin embargo, es un método muy costoso y es posible que los humanos no tengan el mismo sentido de relevancia que un LLM.

También se puede hacer que un LLM genere un juicio de relevancia, que es mucho más barato, pero la precisión se ve afectada a menos que se tenga acceso a uno de los modelos LLM más potentes. La tercera forma, que es el estándar de oro, es evaluar el rendimiento de un extremo a otro de los LLM con recuperación aumentada.

Pero incluso este tercer método tiene sus inconvenientes. «Es muy caro», dice Salemi, «y hay algunos problemas de transparencia. No sabemos cómo llegó el LLM a sus resultados; sólo sabemos si los obtuvo o no». Además, existen algunas docenas de LLM en este momento, y cada uno de ellos funciona de diferentes maneras y arroja diferentes respuestas.

En cambio, Salemi y Zamani han desarrollado eRAG, que es similar al método estándar, pero mucho más rentable, hasta tres veces más rápido, utiliza 50 veces menos energía de GPU y es casi igual de confiable.

«El primer paso hacia el desarrollo de motores de búsqueda eficaces para agentes de IA es evaluarlos con precisión», afirma Zamani. «eRAG proporciona una metodología de evaluación confiable, relativamente eficiente y eficaz para los motores de búsqueda que utilizan los agentes de IA».

En resumen, eRAG funciona así: un usuario humano utiliza un agente de inteligencia artificial con tecnología LLM para realizar una tarea. El agente de IA enviará una consulta a un motor de búsqueda y el motor de búsqueda arrojará un número discreto de resultados (digamos, 50) para el consumo de LLM.

eRAG ejecuta cada uno de los 50 documentos a través del LLM para descubrir qué documento específico el LLM encontró útil para generar el resultado correcto. Estas puntuaciones a nivel de documento luego se agregan para evaluar la calidad del motor de búsqueda para el agente de IA.

Si bien actualmente no existe ningún motor de búsqueda que pueda funcionar con todos los principales LLM que se han desarrollado, la precisión, rentabilidad y facilidad con la que se puede implementar eRAG es un paso importante hacia el día en que todos nuestros motores de búsqueda funcionen con IA.

Esta investigación recibió el premio al Mejor Trabajo Corto otorgado por la Conferencia Internacional sobre Investigación y Desarrollo en Recuperación de Información de la Asociación de Maquinaria de Computación (SIGIR 2024). Un paquete público de Python, que contiene el código de eRAG, está disponible en https://github.com/alirezasalemi7/eRAG.