Las instrucciones de Apple para su nueva oferta Siri GenAI ilustran el desafío GenAI

En lo profundo de los sistemas de Apple hay una variedad de instrucciones que le ha dado a su mecanismo GenAI Apple Intelligence. capturas de pantalla de esas instrucciones Proporcionan una mirada a los esfuerzos de Apple para influir en la implementación de GenAI y también ilustran los grandes desafíos que implica controlar un algoritmo que simplemente intenta adivinar respuestas.

Cuanto más explícita y concisa sea una instrucción, más fácil será para GenAI comprenderla y obedecerla. Por lo tanto, algunas de las instrucciones de Apple, como “Prefieres usar cláusulas en lugar de oraciones completas” y “Por favor, mantén tu resumen de la entrada dentro de un límite de 10 palabras”, deberían funcionar bien, dijeron los especialistas en IA.

Pero otros comandos más interpretables de las capturas de pantalla de Apple, como “No alucines. No inventes información veraz”, pueden no ser tan efectivos.

“No he tenido suerte diciéndole que no alucine. No tengo claro si sabe cuándo está alucinando y cuándo no. Esta cosa no es consciente”, dijo Michael Finley, director de tecnología de AnswerRocket. “Lo que sí funciona es pedirle que reflexione sobre su trabajo o utilizar un segundo mensaje en una cadena para comprobar los resultados del primero. Pedirle que vuelva a comprobar los resultados es algo habitual. Esto tiene un impacto positivo y comprobable en los resultados”.

Finley también quedó desconcertado por un comentario que le decía al sistema que “solo emitiera JSON válido y nada más”.

“Me sorprende que le hayan dicho que solo use JSON válido. El modelo lo va a usar o no”, dijo Finley, y agregó que no hay una forma práctica o significativa de evaluar la validez. “Todo es muy poco sofisticado. Me sorprendió que esto sea lo que está en el centro”. Concluyó que “fue algo improvisado. Eso no es necesariamente algo malo”. Con eso quiso decir que los desarrolladores de Apple estaban bajo presión para sacar el software rápidamente.

Las instrucciones que se analizaban eran para las nuevas capacidades GenAI que se incorporarían a Siri de Apple. El conjunto de datos que Apple utilizará es mucho mayor que los esfuerzos anteriores, por lo que solo estará disponible en los dispositivos más recientes con la mayor potencia de CPU y la mayor cantidad de RAM.

“Hasta ahora, los modelos de Apple para Siri eran pequeños. El uso de GPT (posiblemente algunos de los modelos más grandes) implica nuevas capacidades”, dijo Finley. “A medida que aumenta el número de parámetros, los modelos aprenden a hacer cosas que son más indirectas. Los modelos pequeños no pueden hacer juegos de rol, los modelos más grandes sí. Los modelos pequeños no saben lo que es el engaño, los modelos más grandes sí”.

A Clyde Williamson, arquitecto de seguridad de productos de Protegrity, le hizo gracia cómo la existencia en un foro público de los comentarios, que presumiblemente no estaban destinados a ser vistos por los clientes de Apple, ilustra muy bien los desafíos generales de privacidad y seguridad de datos dentro de GenAI.

“Esto, sin embargo, pone de relieve la idea de que la seguridad en la IA se vuelve un poco confusa. Todo lo que le digamos a una IA, puede que se lo diga a alguien más”, dijo Williamson. “No veo ninguna evidencia de que Apple haya intentado proteger esta plantilla de mensajes, pero es razonable esperar que no tuvieran la intención de que los usuarios finales vieran los mensajes. Desafortunadamente, los LLM no son buenos para guardar secretos”.

Otro especialista en IA, Alan Nichol, director técnico de Rasa, aplaudió muchos de los comentarios. “Fue muy pragmático y simple”, dijo Nichol, pero agregó que “un modelo no puede saber cuándo está equivocado”.

“Estos modelos producen textos plausibles que a veces se superponen con la verdad. Y a veces, por pura casualidad y coincidencia, son correctos”, dijo Nichol. “Si piensas en cómo se entrenan estos modelos, intentan complacer al usuario final, intentan pensar en lo que el usuario quiere”.

Sin embargo, a Nichol le gustaron muchos de los comentarios y señaló: “Las instrucciones de mantener todo breve, siempre uso comentarios así”, porque de lo contrario, los LLM tienden a ser “increíblemente verbosos y esponjosos”.