Apple se prepara para la próxima función de reconocimiento en pantalla de Siri con la nueva API de iOS 18.2 para desarrolladores

Apple está trabajando en una funcionalidad Siri más avanzada como parte de su conjunto de funciones Apple Intelligence y, para prepararse, ha estado proporcionando a los desarrolladores API de intención de aplicación para que las aplicaciones estén listas para las nuevas capacidades.

Con la última ola de betas, Apple tiene una nueva API que permite a los desarrolladores poner el contenido en pantalla de sus aplicaciones a disposición de ‌Siri‌ y ‌Apple Intelligence‌. De la documentación de Apple:

Cuando un usuario hace una pregunta sobre el contenido en pantalla o quiere realizar una acción sobre él, Siri y Apple Intelligence pueden recuperar el contenido para responder a la pregunta y realizar la acción. Si el usuario lo solicita explícitamente, Siri y Apple Intelligence pueden enviar contenido a servicios de terceros compatibles. Por ejemplo, alguien podría ver un sitio web y usar Siri para proporcionar un resumen diciendo o escribiendo una frase como «Oye Siri, ¿de qué trata este documento?».

En la versión beta de iOS 18.2, la integración de ChatGPT con ‌Siri‌ permite a los usuarios hacer preguntas sobre fotografías y documentos, como archivos PDF y presentaciones, y obtener información sobre ellos. Puedes, por ejemplo, preguntarle a ‌Siri‌ «¿qué hay en esta foto?» y ‌Siri‌ tomará una captura de pantalla y se la entregará a ChatGPT. Luego, ChatGPT transmite lo que hay en la imagen y la misma característica funciona para archivos PDF y otros documentos.

No parece que la integración ChatGPT de iOS 18.2 sea la función de reconocimiento en pantalla que Apple ha planeado para ‌Siri‌, pero podría estar relacionada. Apple describe la conciencia en pantalla como la capacidad de ‌Siri‌ de comprender y actuar sobre las cosas en la pantalla. Si alguien te envía un mensaje de texto con una dirección, por ejemplo, podrás decir «Agregar esta dirección a su tarjeta de contacto» y ‌Siri‌ lo hará. Esta funcionalidad no está disponible en iOS 18.2 y ChatGPT se limita a evaluar capturas de pantalla, pero resulta algo confuso.

El conocimiento en pantalla, como el contexto personal y las acciones en la aplicación, es una característica que Apple ha planeado para ‌Siri‌, pero probablemente no sea algo que obtengamos este año. Muchas de las funciones de ‌Siri‌ estarán disponibles en una versión futura de iOS 18 y BloombergMark Gurman ha dicho que podemos esperar verlos en iOS 18.4, una actualización que se lanzará en la primavera de 2025.

Si bien hay varias funciones de ‌Siri‌ que no estarán disponibles hasta el próximo año, Apple proporciona a los desarrolladores API con anticipación para que tengan varios meses para prepararse y que las funciones estén listas para el público cuando las actualizaciones realmente salgan.