Neural Engine de Apple y el juego generativo de IA

Si bien los anuncios de tecnología de asistencia de Apple de esta semana son importantes, la pregunta que queda sin respuesta es cuánto confían en el poderoso Neural Engine de la compañía.

Neural Engine comprende una colección de núcleos computacionales especializados que existen en los chips Apple Silicon. Están diseñados para ejecutar funciones de inteligencia artificial/máquina rápidamente y con gran eficiencia porque la acción se lleva a cabo en el chip.

La compañía tiene enormes recursos dedicados a las mejoras de Neural Engine desde que apareció por primera vez en 2017. Apple Wiki señala que el chip A16 dentro del iPhone 14 ofrece 17 billones de operaciones por segundo, frente a los 600 mil millones/s del procesador A11 de 2017.

Entonces, ¿cómo usa Apple el Neural Engine?

Cómo utiliza Apple Neural Engine

• Piense en FaceID, Memojis animados o la búsqueda en el dispositivo de elementos como imágenes de perros en Fotos. Los desarrolladores usan Neural Engine cuando crean aplicaciones que admiten CoreML, como Becasso o Style Art. Pero Neural Engine es capaz de más. y eso es lo que Espectáculo de mejoras de accesibilidad de Apple.
• Piense en el modo de detección en la lupa. En ese modo, su iPhone reconocerá los botones en los elementos de su hogar, le dirá cuál es la función de ese botón y lo ayudará a guiar su mano. Esa es una tecnología poderosa que se basa en la cámara, el escáner LiDAR, el aprendizaje automático y el Neural Engine en el procesador.
• Piense en la nueva función Personal Voice que permite a los usuarios crear una voz que suene como la suya propia, que luego su dispositivo puede usar para pronunciar las palabras que escriben. Esto es útil para personas a punto de perder la vozpero una vez más se basa en el análisis del habla en el dispositivo y las habilidades inteligentes enterradas dentro del Neural Engine.

Todas estas son tareas intensivas desde el punto de vista computacional, ambas dependen de la inteligencia del dispositivo en lugar de la nube, y están diseñadas para mantener la privacidad y hacer uso de los ciclos de IA dedicados dentro de cada dispositivo Apple.

El Neural Engine puede hacer mucho más

No creo que estas tareas realmente afecten todo lo que Neural Engine es capaz de hacer. Porque a pesar de la promesa de este tipo de IA, el juego para hacer que se ejecute de forma nativa en dispositivos de borde ya ha comenzado, y Apple ha trabajado tanto en la construcción de su Neural Engine que parecería extraño si no tuviera algunas tarjetas. jugar.

De todos modos, la ambición final será, y debe, ser entregar estas tecnologías fuera del centro de datos. Una de las muchas verdades menos compartidas sobre la IA generativa es cuanta energia se necesita para funcionar. Cualquier empresa que quiera limitar sus emisiones de carbono y cumplir con los objetivos climáticos querrá ejecutar esas tareas en el dispositivo, en lugar de en una granja de servidores. Y Apple se compromete a cumplir sus objetivos climáticos. La mejor manera de lograrlos usando una tecnología similar es desarrollar IA en el dispositivo, que tiene un hogar en Neural Engine.

Si esto Así lo ve Appleno está solo. Palm 2 de Google demuestra el interés de esa empresa. Fabricantes de chips como Qualcomm ver procesamiento de borde de tales tareas como una forma esencial de reducir los costos o la tecnología. En este momento, existen numerosos modelos de lenguaje de código abierto capaces de ofrecer funciones de IA generativa; La Universidad de Stanford ya ha sido capaz de hacer uno ejecutar en un teléfono Google Pixel (aunque con alucinaciones adicionales), por lo que ejecutarlos en el iPhone debería ser muy fácil.

Irt debería ser aún más fácil en un chip M2, como los que ya se usan en Mac, iPad y (pronto) Reality Pro.

Una forma de reducir el costo de este tipo de IA, mientras se reduce el tamaño del modelo de lenguaje y se aumenta la precisión mediante la protección contra los «hechos alternativos» creados por la IA, es limitar la tecnología a dominios seleccionados. Estos pueden estar dentro de las aplicaciones clave de productividad de la oficina, pero también con fines de accesibilidad, componentes de interfaz de usuario mejorados o experiencias de búsqueda mejoradas.

Este parece ser el enfoque que estamos viendo en toda la industria, ya que los desarrolladores como Zoom encuentran formas de integrar la IA en los productos existentes de manera valiosa, en lugar de adoptar un enfoque de pistola dispersa. El enfoque de Apple también muestra un enfoque en verticales clave.

En términos de cómo Apple tiene la intención de desarrollar sus propias tecnologías de inteligencia artificial, parece terriblemente imprudente ignorar los datos que pudo haber recopilado a través de su trabajo en la búsqueda durante la última década. Tiene robot de manzana ¿realmente se trata solo de hacer tratos con Google? ¿Podrían esos datos contribuir al desarrollo del propio modelo de estilo LLM de Apple?

En la WWDC, puede ser interesante ver si una de las formas en que tiene la intención de utilizar la IA podría ser potenciar los modelos de generación de imágenes para sus dispositivos AR. ¿Es esa forma de experiencia impulsada por IA sin código/de código bajo un componente del entorno de desarrollo súper fácil que hemos escuchado anteriormente sobre los planes de Apple?

En un mundo ideal, los usuarios podrían aprovechar el poder de estos nuevos modelos de inteligencia artificial de forma privada, en su dispositivo y con un mínimo de energía. Y dado que esto es precisamente para lo que Apple construyó Neural Engine, tal vez la tonta Siri era solo la frente a un todo mayor — un caballo al acecho con cara de póquer. Todavía no sabemos ninguna de estas respuestas, pero puede ser algo que todos sepan para cuando el sol de California se ponga en el evento especial para desarrolladores de Apple en Apple Park el 5 de junio.

Por favor sígueme en Mastodonteo únete a mí en el Bar y parrilla de AppleHolic y Discusiones de Apple grupos en MeWe.