Editor Top
Y Apple es la Hamburglar
La estrategia de IA de Apple es incluso más brillante que la de Nvidia.
Está construido sobre un sistema de enrutamiento de tres niveles. Cuando le pides a Siri que haga algo, un orquestador integrado en el sistema operativo decide qué tan compleja es la tarea. Según estimaciones de terceros, alrededor del 85% de las solicitudes se manejan en su dispositivo Apple mediante modelos pequeños y eficientes de Apple. (Hace cosas como resumir texto, priorizar notificaciones, limpiar fotos o sugerir respuestas). Aproximadamente el 12% de todas las consultas se envían a Private Cloud Compute, la propia infraestructura de servidores de Apple que ejecuta los modelos más grandes de Apple en Apple Silicon en centros de datos propiedad de Apple. Solo el 3% de las consultas más difíciles se dirigen a un modelo de socio externo.
Este diseño permite a Apple evitar el coste ruinoso de entrenar un modelo de frontera desde cero. Microsoft, Google, Meta y Amazon gastan cada uno decenas de miles de millones de dólares al año en grupos de GPU, energía y equipos de investigación para construir y ejecutar modelos de billones de parámetros. Apple no lo hace. Sus propios modelos son deliberadamente pequeños y funcionan con chips que Apple ya vende, por lo que el costo de inferencia básicamente se absorbe en el dispositivo. Sólo necesita un modelo de frontera para esa pequeña porción de consultas difíciles, que es donde entra en juego la estrategia de asociación.
