La IA produce un conocimiento menos profundo que la búsqueda web, según un estudio

Aprender sobre un tema interactuando con chatbots de IA como ChatGPT en lugar de seguir enlaces proporcionados por la búsqueda web puede producir un conocimiento menos profundo. Los consejos que se dan sobre la base de este conocimiento superficial tienden a ser más escasos, menos originales y menos propensos a ser adoptados por otros.

Publicado en Nexo PNASShiri Melumad y Jin Ho Yun llevaron a cabo siete experimentos con miles de participantes en línea que fueron asignados aleatoriamente para aprender sobre diversos temas, incluido cómo plantar un huerto, cómo llevar un estilo de vida más saludable o cómo hacer frente a estafas financieras, utilizando grandes modelos de lenguaje (LLM) o enlaces de búsqueda web tradicionales de Google.

Luego, los participantes escribieron consejos basados ​​en lo que aprendieron. Los participantes que utilizaron LLM dedicaron menos tiempo a interactuar con los resultados de búsqueda e informaron haber desarrollado conocimientos menos profundos en comparación con aquellos que utilizaron enlaces web, incluso cuando los hechos subyacentes eran idénticos. Al formar consejos, los usuarios de LLM invirtieron menos esfuerzo y produjeron contenido que era objetivamente más corto, contenía menos referencias fácticas y mostraba una mayor similitud con los consejos de otros participantes.

En un experimento con 1.501 evaluadores independientes, los destinatarios (que no sabían de dónde procedían los consejos) calificaron los consejos escritos después de búsquedas de LLM como menos útiles, menos informativos y menos confiables en comparación con los consejos basados ​​en búsquedas web, y estaban menos dispuestos a adoptar los consejos derivados de LLM. Si bien los LLM son innegablemente eficientes, confiar en resúmenes presintetizados puede transformar el aprendizaje de una búsqueda activa a una actividad pasiva.

Según los autores, los LLM son potencialmente menos útiles que la búsqueda web si el objetivo es desarrollar conocimiento procedimental: una comprensión de cómo hacer realmente las cosas.

Proporcionado por PNAS Nexus