Editor Top
Resultados: Claude, Notebooklm y Chatgpt respondieron con str_SQUISH ()que considero la respuesta correcta. La perplejidad asumió que solo me importaba el espacio en el comienzo y final del texto y no en el medio. Después de una pregunta de seguimiento, también encontró la mejor función.
Prueba 2: búsqueda algo vaga de mis publicaciones en redes sociales
Esta fue una tarea más difícil, pero algo similar a lo que la gente puede querer ayudar en el mundo real.
Pregunta: «Realmente me gustó un artículo sobre LLMS escrito por Lucas Mearian en ComputerWorld.
Fuente de información: 2 años de mis publicaciones de LinkedIn.
Resultados: Notebooklm y Claude clavaron sus respuestas, cada una ofreciendo dos opciones, incluida la que quería. Chatgpt me dio artículos algo relacionados, pero no los que quería. (Había estado buscando «¿Qué son LLM y cómo se usan en AI generativo?»)
La perplejidad con su Auto LLM predeterminado no me dio nada útil, alegando que «no hay una mención específica de un artículo sobre modelos de idiomas grandes (LLM) escritos por Lucas Mearian».
Prueba 3: Encuentre una identificación de la tabla del censo de EE. UU. Para un tema específico
Muchas empresas utilizan la Encuesta de la Comunidad Americana (ACS) de la Oficina del Censo de EE. UU. Para obtener información demográfica. Con miles de variables de datos disponibles, puede ser difícil encontrar una que tenga la información que desee. Este tipo de consulta podría representar muchas otras empresas de búsqueda de datos que las empresas pueden querer hacer con sus propios datos.
Pregunta: «¿Cuál es la mejor variable para encontrar información sobre el porcentaje de trabajadores que trabajan desde casa?»
Fuente de información: Descargué y filtré varios listados de ID de variables de tabla ACS (filtradas porque un par de listas eran demasiado grandes), junto con una explicación general de las tablas ACS del sitio web de la Oficina del Censo. Dado que algunas de estas plataformas no aceptan archivos CSV en proyectos, guardé los datos variables como archivos .txt delimitados de tabulación.
Respuesta esperada: Kyle Walker, director del Centro de Estudios Urbanos de la Universidad Cristiana de Texas y autor del paquete TidyCensus R, utilizó la variable DP03_0024P en uno de sus ejemplos, así que eso era lo que esperaba en una respuesta correcta.
Resultados: Notebooklm, chatgpt y perplejidad me dieron resultados que podría usar. (Inesperadamente, aprendí que hay más de una respuesta correcta: chatgpt y perplejidad encontraron otras variables que incluyen el porcentaje de personas que trabajan desde casa).
Claude no pudo competir en este, ya que mis tres archivos .txt con datos por un total de menos de 800 kb excedieron su límite de «conocimiento del proyecto».
Prueba 4: Pregunte sobre conferencias profesionales
Esta prueba presentó dos preguntas para dos fuentes de datos diferentes: pregunte sobre una conferencia que podría satisfacer mis necesidades y luego preguntar sobre las sesiones de la conferencia en una conferencia específica.
Pregunta 1: «Estoy buscando eventos de IDG que hablarán sobre la inteligencia artificial.
Fuente de información: El IDG Global Events Calendar PDF.
Resultado esperado: La respuesta correcta más completa citaría a Futureit New York en julio y Futureit Toronto 30 de abril – 1 de mayo. El trabajo+ en Nashville en un vuelo de 2:50 también sería una sugerencia razonable.
Resultados: Chatgpt lo clavó con su modelo O3-Mini más avanzado más avanzado y su General 4O LLM, devolviendo los dos eventos que coinciden exactamente con los criterios.
El Sonar LLM de Perplexity devolvió tanto los eventos como la conferencia CIO100 en Arizona, aunque reconociendo que uno está más allá de un vuelo de 2 horas.
Notebooklm lo hizo parcialmente correcto, lo que sugiere Futureit New York y Work+ en Nashville (que dijo con precisión que estaba «razonablemente cerca de Boston», cierto, está a menos de 3 horas de distancia). Sin embargo, se perdió a Toronto.
Claude con su modelo más antiguo de Sonnet 3.5 devolvió ambos eventos coincidentes, junto con «Eventos del Reino Unido como referencia, aunque fuera de su rango de viajes», pero no incluyó a Nashville. Claude con su nuevo soneto 3.7 en su configuración predeterminada fue peor, encontrando solo uno que coincidía, un par de otros en los Estados Unidos y dos en Europa (señalando que estaban fuera del rango de viajes). Cuando cambié de soneto 3.7 de su razonamiento predeterminado a «extendido», dio una mejor respuesta: los eventos de Nueva York y Toronto, así como un evento virtual.
Pregunta 2: «Dime todas las sesiones en la Conferencia de NICAR para personas que ya son competentes en hojas de cálculo, es decir, no son principiantes, pero quieren mejorar sus habilidades de hoja de cálculo».
Fuente de datos: Archivo de texto del programa completo de la Conferencia de Periodismo de Datos de Nicar.
Resultados: Notebooklm me dio más de una docena de sugerencias interesantes que involucran hojas de Google, Excel y AirTable, con solo una que podría no haber sido relevante. Definitivamente fue más de lo que habría encontrado simplemente buscando en la página web de la conferencia «Excel» y «Hojas». Además, debido a que podría hacer clic para acercarme al texto exacto que citó, fue fácil verificar las alucinaciones.
La lluvia de ideas es un área donde muchos expertos dicen que los LLM pueden brillar. Planeo cargar otros horarios de la conferencia a cuaderno en el futuro para asegurarme de no pasar por alto las sesiones potencialmente útiles.
A Chatgpt también se les ocurrió más de 12 sesiones que podrían ser de interés, organizadas por fecha y hora y más bien formateadas. Claude propuso un poco menos, pero todo parecía coincidir.
La perplejidad fue decepcionante, afirmando: «Si bien la información proporcionada no enumera explícitamente las sesiones para aquellos competentes en hojas de cálculo, varias sesiones en la conferencia de NICAR 2025 podrían ser beneficiosas para mejorar las habilidades de hojas de cálculo o aprender técnicas de análisis de datos avanzados». Sugirió solo tres.
Recomendaciones
Los servicios generativos de AI en la nube pueden ser una forma útil y sin código de responder preguntas sobre su propia información: tanto encontrar información que conoce y ayudarlo a descubrir nuevas ideas.
Si desea una plataforma que sea fácil, gratuita y cita fuentes para que pueda verificar si hay alucinaciones, el cuaderno de Google es una excelente opción.
Si ya se suscribe a CHATGPT, sus proyectos valen la pena. Están configurados para manejar una gama más amplia de solicitudes que simplemente preguntas y respuestas, y las respuestas de ChatGPT a menudo están mejor formateadas y más fáciles de leer que las de NotebookLM. Si es un usuario gratuito, puede cargar archivos a chats de chatgpt convencionales y obtener capacidades similares.
Claude puede ser una buena opción si no tiene grandes cantidades de datos por proyecto y ya se suscribe, especialmente si desea que responda preguntas sobre datos en un repositorio de GitHub. Si una respuesta no es satisfactoria, intente cambiar la configuración del modelo.
Encontré que la perplejidad es más convincente para responder preguntas sobre información en la web, especialmente para casos de uso como ayuda de software donde la información se extiende en muchos archivos diferentes dentro de un dominio, como slack.com/help. Sin embargo, probablemente iría con NotebookLM o ChatGPT para obtener datos locales.
