Editor Top
En lo que puede no ser una gran sorpresa, una nueva prueba del conocimiento de Siri sobre la historia del Super Bowl ha revelado importantes problemas de precisión con el asistente virtual de Apple, lo que sugiere que Apple todavía tiene mucho camino por recorrer para superar los desafíos con la capacidad de Siri para proporcionar información confiable.
En un experimento metódico, Tsunami de un piePaul Kafasis le preguntó a Siri quién ganó cada Super Bowl desde el I hasta el LX y documentó sus respuestas. Los resultados fueron sorprendentemente pobres: Siri identificó correctamente a los ganadores solo el 34% de las veces: solo 20 respuestas correctas de 58 Super Bowls disputados.
Quizás lo más notable es que Siri atribuyó repetida e incorrectamente a los Philadelphia Eagles 33 victorias en el Super Bowl, a pesar de que el equipo solo había ganado un campeonato en su historia. Las respuestas del asistente virtual variaron desde proporcionar información sobre Super Bowls equivocados hasta ofrecer datos futbolísticos completamente ajenos.
Si bien Siri logró algunas rachas de respuestas precisas, incluidas tres respuestas correctas consecutivas para los Super Bowls V al VII, también tuvo una notable cadena de 15 respuestas incorrectas consecutivas que abarcan los Super Bowls XVII al XXXII.
En un caso revelador, cuando se le preguntó sobre el Super Bowl XVI, Siri se ofreció a consultar ChatGPT, que luego proporcionó la respuesta correcta. El contraste puso de relieve las limitaciones de la propia base de conocimientos de Siri en comparación con los sistemas de IA más avanzados.
La prueba se realizó en iOS 18.2.1 con Apple Intelligence habilitado y se encontraron resultados similares tanto en la próxima versión beta de iOS 18.3 como en macOS 14.7.2, lo que sugiere que el problema se extiende a todas las plataformas de Apple. Kafasis generó una hoja de cálculo de los resultados en formato Excel y PDF, que puedes leer aquí.
Por otra parte, inspirado por la prueba de Kafasis, Bola de fuego atrevidade John Gruber Probó algunas de sus propias consultas deportivas. con Siri y comparó sus respuestas con ChatGPT, Kagi, DuckDuckGo y Google, todos los cuales tuvieron éxito donde Siri falló.
Quizás lo peor para Apple es que Gruber descubrió que la antigua Siri (es decir, antes de Apple Intelligence) hacía un mejor trabajo respondiendo una pregunta al negarse a responderla y, en cambio, proporcionaba una lista de enlaces web. El primer resultado web proporcionó una respuesta precisa, aunque sólo parcial, a la pregunta, mientras que al nuevo Siri, impulsado por Apple Intelligence, le fue mucho peor. Gruber explica:
El nuevo Siri, impulsado por Apple Intelligence™ con integración ChatGPT habilitada, obtiene la respuesta completamente pero plausiblemente equivocada, que es la peor manera de equivocarse. también es inconsistentemente mal: intenté la misma pregunta cuatro veces y obtuve una respuesta diferente, todas incorrectas cada vez. Es un completo fracaso.
«Es simplemente increíble lo estúpida que es Siri respecto a un tema de tanta popularidad», comentó Gruber. «Si hubieras adivinado que Siri podía acertar la mitad de los Super Bowls, perdiste, y ni siquiera estuvo tan cerca».
Por supuesto, esta no es la primera vez que Siri recibe fuertes críticas por su desempeño general, pero las críticas de Gruber sobre respuestas «plausiblemente incorrectas» a preguntas de conocimiento general se remontan al problema moderno de los chatbots de IA alucinantes que dicen cosas engañosas o planas. Elimina las respuestas incorrectas con total confianza.
Apple está desarrollando una versión mucho más inteligente de Siri que utiliza modelos de lenguaje grandes y avanzados, lo que debería permitir al asistente personal competir mejor con chatbots como ChatGPT. Una versión de chatbot de Siri probablemente podría mantener conversaciones en curso y brindar el tipo de ayuda e información que ChatGPT o Claude, pero qué tan bien funcionará la integración puede ser una preocupación, teniendo en cuenta el pésimo historial de Siri.
Se espera que Apple anuncie LLM Siri tan pronto como 2025 en la WWDC, pero Apple no lo lanzará hasta varios meses después de su presentación. Eso significa que LLM Siri vendría en una actualización de iOS 19, y Apple planea un lanzamiento en la primavera de 2026.
GIPHY App Key not set. Please check settings