Un investigador explica la promesa y el peligro de dejar que ChatGPT y sus primos busquen en la web por usted

El modelo destacado de acceso a la información antes de que los motores de búsqueda se convirtieran en la norma (bibliotecarios y expertos en temas o búsquedas que proporcionaban información relevante) era interactivo, personalizado, transparente y autorizado. Los motores de búsqueda son la forma principal en que la mayoría de las personas acceden a la información hoy en día, pero ingresar algunas palabras clave y obtener una lista de resultados clasificados por alguna función desconocida no es lo ideal.

Una nueva generación de sistemas de acceso a la información basados ​​en inteligencia artificial, que incluye Microsoft Bing/ChatGPT, Google/bardo y Meta/LLAMA, está revolucionando el modo de motor de búsqueda tradicional de entrada y salida de búsqueda. Estos sistemas pueden tomar oraciones completas e incluso párrafos como entrada y generar respuestas personalizadas en lenguaje natural.

A primera vista, esto puede parecer lo mejor de ambos mundos: respuestas personales y personalizadas combinadas con la amplitud y profundidad del conocimiento en Internet. Pero como investigador que estudia los sistemas de búsqueda y recomendaciónCreo que la imagen es mixta en el mejor de los casos.

Los sistemas de IA como ChatGPT y Bard se basan en grandes modelos de lenguaje. Un modelo de lenguaje es una técnica de aprendizaje automático que utiliza una gran cantidad de textos disponibles, como artículos de Wikipedia y PubMed, para aprender patrones. En términos simples, estos modelos calculan qué palabra es probable que venga a continuación, dado un conjunto de palabras o una frase. Al hacerlo, son capaces de generar oraciones, párrafos e incluso páginas que corresponden a una consulta de un usuario. El 14 de marzo de 2023, OpenAI anunció la próxima generación de la tecnología, GPT-4, que funciona con entrada de texto e imageny Microsoft anunció que su Bing conversacional se basa en GPT-4.

Gracias a la capacitación en grandes cuerpos de texto, el ajuste fino y otros métodos basados ​​en el aprendizaje automático, este tipo de técnica de recuperación de información funciona con bastante eficacia. Los grandes sistemas basados ​​en modelos de lenguaje generan respuestas personalizadas para atender consultas de información. La gente encontró los resultados tan impresionantes que ChatGPT alcanzó los 100 millones de usuarios en un tercio del tiempo que tardó TikTok en llegar a ese hito. La gente lo ha usado no solo para encontrar respuestas, sino también para generar diagnósticos, crear planes de dieta y hacer recomendaciones de inversión.

Opacidad y ‘alucinaciones’

Sin embargo, hay muchas desventajas. Primero, considere lo que está en el corazón de un gran modelo de lenguaje: un mecanismo a través del cual conecta las palabras y presumiblemente sus significados. Esto produce una salida que a menudo parece una respuesta inteligente, pero los sistemas de modelos de lenguaje grandes son conocido por producir declaraciones casi repetidas sin una comprensión real. Entonces, si bien la salida generada por tales sistemas puede parecer inteligente, es simplemente un reflejo de patrones subyacentes de palabras que la IA ha encontrado en un contexto apropiado.

Esta limitación hace que los grandes sistemas de modelos de lenguaje sean susceptibles de inventar o respuestas «alucinantes». Los sistemas tampoco son lo suficientemente inteligentes como para comprender la premisa incorrecta de una pregunta y responder preguntas defectuosas de todos modos. Por ejemplo, cuando se le pregunta qué cara del presidente de EE. UU. está en el billete de $100, ChatGPT responde que Benjamin Franklin no se da cuenta de que Franklin nunca fue presidente y que la premisa de que el billete de $100 tiene la imagen de un presidente de EE. UU. es incorrecta.

El problema es que incluso cuando estos sistemas están equivocados solo el 10% de las veces, no sabes cuál 10%. Las personas tampoco tienen la capacidad de validar rápidamente las respuestas de los sistemas. Eso se debe a que estos sistemas carecen de transparencia: no revelan con qué datos están capacitados, qué fuentes han utilizado para obtener respuestas o cómo se generan esas respuestas.

Por ejemplo, podría pedirle a ChatGPT que escriba un informe técnico con citas. pero a menudo compone estas citas— «alucinando» los títulos de los artículos académicos, así como los autores. Los sistemas tampoco validan la precisión de sus respuestas. Esto deja la validación en manos del usuario, y es posible que los usuarios no tengan la motivación o las habilidades para hacerlo o incluso reconozcan la necesidad de verificar las respuestas de una IA.

Robo de contenido y tráfico

Si bien la falta de transparencia puede ser dañina para los usuarios, también es injusta para los autores, artistas y creadores del contenido original de quienes los sistemas han aprendido, porque los sistemas no revelan sus fuentes ni brindan atribución suficiente. En la mayoría de los casos, los creadores son no compensado o acreditado o dado la oportunidad de dar su consentimiento.

Hay un ángulo económico en esto también. En un entorno de motor de búsqueda típico, los resultados se muestran con los enlaces a las fuentes. Esto no solo le permite al usuario verificar las respuestas y proporciona las atribuciones a esas fuentes, también genera tráfico para esos sitios. Muchas de estas fuentes dependen de este tráfico para sus ingresos. Debido a que los grandes sistemas de modelo de lenguaje producen respuestas directas pero no las fuentes de las que se extrajeron, creo que es probable que esos sitios vean disminuir sus flujos de ingresos.

Quitando el aprendizaje y la serendipia

Finalmente, esta nueva forma de acceder a la información también puede desempoderar a las personas y quitarles la oportunidad de aprender. Un proceso de búsqueda típico permite a los usuarios explorar el rango de posibilidades para sus necesidades de información, lo que a menudo los impulsa a ajustar lo que están buscando. También les brinda una oportunidad de aprender qué hay ahí fuera y cómo se conectan varias piezas de información para realizar sus tareas. Y permite encuentros accidentales o serendipia.

Estos son aspectos muy importantes de la búsqueda, pero cuando un sistema produce los resultados sin mostrar sus fuentes o guiar al usuario a través de un proceso, le roba estas posibilidades.

Los modelos de lenguaje grande son un gran avance para el acceso a la información, ya que brindan a las personas una forma de tener interacciones basadas en el lenguaje natural, producir respuestas personalizadas y descubrir respuestas y patrones que a menudo son difíciles de encontrar para un usuario promedio. Pero tienen severas limitaciones debido a la forma en que aprenden y construyen respuestas. Sus respuestas pueden ser incorrecto, tóxico o sesgado.

Si bien otros sistemas de acceso a la información también pueden sufrir estos problemas, los sistemas de IA de modelo de lenguaje grande también carecen de transparencia. Peor aún, sus respuestas en lenguaje natural pueden ayudar a impulsar una falso sentido de confianza y autoridad que puede ser peligroso para los usuarios desinformados.

Este artículo se vuelve a publicar de La conversación bajo una licencia Creative Commons. Leer el artículo original.