TecTop
Al diseñar paisajes sonoros para aplicaciones y juegos, las notas correctas pueden marcar la diferencia. Y cuando esas notas están diseñadas para admitir audio multicanal, incluso pueden hacer que alguien se vuelva loco. (Literalmente.)
Endel y Odio son solo dos de las muchas aplicaciones y juegos que aprovechan Spatial Audio. Usan mezclas multicanal, Core Audio y AVFoundation para agregar textura y dimensionalidad, creando experiencias de sonido envolvente resonantes que sumergen aún más a los oyentes en el mundo dentro de sus aplicaciones.
Diseño para la interacción espacial
Descubra los principios para crear interacciones físicas intuitivas entre dos o más dispositivos, como lo demostraron los diseñadores de Apple que trabajaron en funciones para iPhone, HomePod mini y AirTag. Explore cómo puede aplicar estos patrones a su propia aplicación cuando diseñe funciones para las plataformas de Apple y…
Endel (en la foto de arriba) evoca paisajes sonoros personalizados y adaptables basados en la biometría y el entorno para ayudar a las personas a concentrarse y dormir mejor. Su paisaje sonoro inaugural de Spatial Audio, uno con el nombre satisfactoriamente sobrenatural de Spatial Orbit, lleva la notable combinación de arte e inteligencia artificial de la aplicación a una nueva dimensión.
«Se siente como si estuviera dentro de un espacio vasto y reluciente», dice Dmitry Evgrafov, Endel cofundador y director de sonido. “Es casi como el equivalente sonoro del puntillismo, donde los pequeños puntos crean una estructura por sí mismos y te ahogas en la cosa. Es un estado muy hermoso y no es algo que puedas reproducir en estéreo”.
Al incorporar Spatial Audio a su ecosistema, el Endel La primera tarea del equipo fue determinar si la tecnología era compatible con su paisaje sonoro generativo y en constante cambio. Ese trabajo recayó en gran medida en Kyrylo Bulatsev, cofundador y director de tecnología. “[Spatial Audio] significaba que teníamos que agregar una dimensión más al elemento no estático”, dice. “Además de elegir qué sonido reproducir y cuándo, teníamos que pensar en dónde estaría el sonido y cómo se movería a tu alrededor”.
Ese paisaje sonoro también tenía que tocar la «delgada línea entre aumentar una experiencia y hacer que distraiga», dice Evgrafov. Eso se debe a que, si bien la mayoría de las aplicaciones (y los juegos, las películas y las canciones) están diseñadas para una participación activa, Endel pretende ser un compañero de fondo perfecto, mejorando su experiencia sin perder su atención. “Nuestro caso de uso es diferente de otros productos que utilizan la tecnología”, dice Evgrafov (a quien el cofundador Oleg Stavisky atribuye “todos los hermosos sonidos de la aplicación”).
Es casi como el equivalente sonoro del puntillismo.
Dmitry Evgrafov, *Endel* cofundador y director de sonido
Un pianista y músico con 10 álbumes en su haber, Evgrafov ciertamente conoce bien el estéreo. “¿Pero la aleatorización de la posición del audio en el espacio? Esa es una bestia completamente diferente”, dice.
El primer prototipo serio de Spatial Orbit fue terrestre, ambientado en una escena realista de la jungla. “La idea era que caminarías por este mágico Jardín del Edén y los exóticos animales tropicales cantarían a tu alrededor”, dice. “Teníamos un arpa tocando junto al agua, un arroyo, pájaros que no existen en el mundo real, cosas así”.
Seguían surgiendo ideas similares: un coro gregoriano que pasaba lentamente junto a ti mientras cantabas, grabaciones de campo desde el interior de una cueva. Aunque los conceptos eran geniales y los prototipos sonaban muy bien, el equipo seguía enfrentándose al mismo problema. “No eran Endel”, dice Evgrafov. “Te transportaban a un lugar, pero eso significaba que la gente estaba usando la aplicación conscientemente. No coincidían con lo que defendíamos”.
La versión final de Spatial Orbit coincide con lo que Endel representa y logra la síntesis de arte y tecnología por la que se esfuerza Endel. «La lluvia [in our soundscape] es casi metafórico”, dice Evgrafov. «Tiene esta sensación ligeramente aumentada que te permite simplemente ahogarte un poco y estar con tus pensamientos, concentrarte en tu libro o lo que sea que estés haciendo».
Ajustar el paisaje sonoro fue una aventura en sí misma. “Observar a la gente probar Endel es una especie de ejercicio divertido”, se ríe Stavitsky. Esto se debe a que realmente no existe una forma establecida de probar un paisaje sonoro personalizado generado automáticamente para un grupo de personas al mismo tiempo.
[The rain has] esta sensación ligeramente aumentada que te permite simplemente ahogarte un poco y estar con tus pensamientos, concentrarte en tu libro o lo que sea que estés haciendo.
Dmitri Evgrafov
“Inventamos el proceso y el conjunto de herramientas”, dice Evgrafov. Involucró a mucha gente deambulando por las oficinas de Endel en Berlín… y en otros lugares. “También era mucho de mí en los espacios públicos simplemente mirando a la nada, como un gato”.
Al final, Spatial Orbit captura esa esquiva mezcla de tecnología innovadora y determinación artística. “Cuando nos dimos cuenta de que la ciencia estaba ahí y de que aún verificaba todas las casillas de Endel, fue un gran alivio”, dice Evgrafov. “Pensamos, ‘Está bien, podemos ser no intrusivos y espaciales al mismo tiempo’”.
Descarga Endel desde la App Store
Odio también se enfoca en crear excelentes paisajes sonoros ambientales, pero con un toque de ciencia ficción. “Quiero que nuestros compositores imaginen inventar planetas y llenarlos de sonido”, dice Joon Kwak, cofundador de la aplicación con sede en Seúl. “Queremos guiar a la gente a través de estos nuevos planetas”.
Los paisajes sonoros de la aplicación, que pueden evocar cualquier cosa, desde el estruendo de una cascada hasta un telón de fondo digital lleno de zumbidos y la espeluznante calma de las profundidades del mar, utilizan el seguimiento de la cabeza y el audio multicanal para crear una mezcla verdaderamente fascinante. (La aplicación también es un festín visual, con cada paisaje sonoro acompañado de un arte teñido de tecno en constante cambio).
Pero no eres un oyente pasivo en estos reinos de audio. Los elementos individuales que componen cada paisaje sonoro se pueden manipular a través de una interfaz de usuario imaginativa y lúdica que le permite reposicionar cada elemento de audio (como esa cascada) en cualquier lugar que desee.
Como corresponde a su sensación futurista, de Odio La historia de fondo es una de reuniones fortuitas, lanzamientos oportunos de hardware y software, y un golpe de buena fortuna. Kwak concibió la versión inicial de la aplicación como un proyecto de graduación en la Design Academy Eindhoven. Originalmente conocido como Virtual Sky, el prototipo contenía los huesos de lo que se convertiría Odio, pero se basó en gran medida en sonidos del mundo real. También requería un lío de hardware y equipo especial, todo lo cual se volvió bastante irrelevante una vez que llegaron los AirPods con Spatial Audio.
“Estuve deprimido por un tiempo”, se ríe Kwak. “Yo estaba como, ‘¡He estado trabajando en esto durante meses y ahora no tiene sentido!’ Pero luego lo pensé más profundamente y me di cuenta: ‘Oh, esto solo significa que no necesito proporcionar hardware’, y en realidad fue genial».
Kwak se asoció con Volst, una empresa que estaba interesada en una aplicación de paisaje sonoro en 3D. Con los bloques de construcción en su lugar, de Odio El desarrollador y diseñador de UI, Rutger Schimmel, asumió el desafío de dar vida al proyecto de Kwak, un proceso que fue mucho más rápido de lo esperado.
Quiero que nuestros compositores se imaginen inventando planetas y llenándolos de sonido.
Joon Kwak, cofundador de *Odio*
“Sabíamos que los AirPods tenían [surround sound] apoyo, pero éramos escépticos”, dice. “Pensamos, ‘Está bien, tienen seguimiento de cabeza, pero probablemente sea solo para cosas propias’. Pero aún estábamos entusiasmados, así que rápidamente configuramos un proyecto Xcode para llevar los datos de los AirPods al dispositivo”.
Tuvieron un prototipo en funcionamiento en los auriculares en cuestión de minutos. “Nos sorprendió lo fácil que fue”, dice Schimmel. “Y en aproximadamente una hora nos decidimos por excelentes marcos de audio 3D de Apple que eran la base perfecta para lo que estábamos trabajando”. La codificación comenzó en enero. En abril, el equipo tenía lista una demostración creada por Swift.
para construir un Odio paisaje sonoro, compositores como Kwak, Odio el diseñador de sonido Max Frimout y un equipo de músicos externos colaboran, generalmente en Logic Pro, combinando sonidos ambientales, campanas y silbatos sintéticos y música.
Una vez que los paisajes sonoros están completos y debidamente probados en cafeterías, parques y subterráneos, los artistas entregan sus archivos a Schimmel. Para un rol que involucra diseño de vanguardia, audio inmersivo e increíbles grados de personalización, la caja de herramientas de Schimmel está sorprendentemente ordenada: AVAudioEnvironmentNode (AVKit) para crear el entorno de audio 3D, CMHeadphoneMotionManager (Core Motion) para acceder a los datos de movimiento de los auriculares y Sentry para seguimiento de errores y control de calidad.
“Todo lo demás en Odio se crea desde cero en Swift, desde la gestión de datos hasta la interacción con paisajes sonoros y el almacenamiento en búfer en tiempo real de los archivos de sonido interactivos”, dice Schimmel.
El resultado es un notable ejemplo del poder y la simplicidad del diseño para Spatial Audio. «Honestamente», dice Schimmel, «la mayor parte del trabajo duro lo hace el compositor».
Descarga Odio desde la tienda de aplicaciones
Descubra audio con reconocimiento de geometría con el motor de espacialización de audio físico (PHASE)
Explore cómo el audio con reconocimiento de geometría puede ayudarlo a crear escenas de audio complejas, interactivas y envolventes para sus aplicaciones y juegos. Conozca PHASE, la API de audio espacial de Apple, y descubra cómo el motor de espacialización de audio físico (PHASE) mantiene el sonido alineado con su experiencia en todo momento, ayudando…
Sumerja su aplicación en Spatial Audio
Descubra cómo el audio espacial puede ayudarlo a brindar una experiencia de cine para los medios en sus aplicaciones y en la web. Le mostraremos cómo puede llevar fácilmente audio inmersivo a quienes escuchan con hardware compatible, y cómo ofrecer automáticamente diferentes experiencias auditivas según…
