La nueva aplicación para teléfonos móviles muestra qué tan bien calzan los zapatos según la forma 3D del pie del usuario

Snapfeet es una nueva aplicación para teléfonos móviles que muestra qué tan bien calzan los zapatos en función de la forma 3D del pie del usuario. También ofrece una visualización simple de realidad aumentada (AR) de cómo se verán los zapatos en los pies.

La tecnología de la aplicación está diseñada para que los minoristas de calzado en línea ofrezcan a sus clientes un ajuste preciso de diferentes estilos de calzado y la oportunidad de ver cómo se verán los zapatos en los pies del comprador. Esto debería llevar a que se devuelva menos calzado. Hay un costo enorme en retornos, tanto monetarios como ambientales. Muchos minoristas de calzado obtienen muy pocos ingresos de las ventas en línea debido a la alta tasa de devoluciones, por lo que el objetivo de esta aplicación es cambiar esto.

El profesor Roberto Cipolla y su equipo Dr. James Charles y Ph.D. El estudiante Ollie Boyne del grupo Machine Intelligence ha creado la aplicación en colaboración con Giorgio Raccanelli y el equipo de Snapfeet.

La aplicación Snapfeet permite al cliente usar los zapatos virtualmente a través de su teléfono gracias a la Realidad Aumentada (AR) y encontrar su calce perfecto en unos momentos.

Snapfeet crea, en tiempo real, una copia 3D precisa de los pies del usuario. En unos segundos es posible hacer un modelo 3D de ambos pies, simplemente haciendo unas cuantas fotografías con el móvil desde diferentes puntos de vista.

Usando la forma del pie del usuario y comparándola con la geometría del zapato, Snapfeet puede recomendar el tamaño correcto para cada tipo de zapato, comunicando al usuario el grado de comodidad que se puede lograr en las diferentes partes del pie: punta, empeine, talón y suela.

Giorgio Raccanelli dice: «Descarga la aplicación Snapfeet, se registra, toma algunas fotos alrededor del pie y aparecerá un modelo 3D del pie, lo que le permitirá comenzar a comprar de inmediato. La aplicación compara automáticamente la imagen tridimensional de el pie con el estilo de calzado elegido, mostrándole cómo le quedará, o sugerirá directamente un estilo que se adapte mejor a la forma de su pie».

Snapfeet tiene sus primeros grandes clientes en Hugo Boss y Golden Goose.

La empresa matriz de Snapfeet, Trya, comenzó otorgando licencias de software de fotogrametría novedoso del grupo del profesor Cipolla en 2011 a través de Cambridge Enterprise.

La tecnología de fotogrametría original usaba fotos con un patrón de calibración. Después de tomar estas fotos, se cargan en un servidor y un algoritmo estéreo multivista desarrollado en Cambridge encontró múltiples correspondencias de puntos y generó un modelo 3D que explica todos los diferentes puntos de vista y ubica las cámaras en el espacio mundial. Este fue el estado del arte para la precisión de la reconstrucción en 2011.

Desde 2019, el equipo del profesor Cipolla ha estado trabajando con Snapfeet para convertir la tecnología de fotogrametría original en una aplicación para teléfonos móviles que reconstruye la forma del pie en 3D en vivo en el teléfono y sin necesidad de ningún patrón de calibración y para dimensionar y visualizar correctamente los zapatos en AR.

El software de fotogrametría original tenía una precisión de 1 mm, pero era lento y difícil de procesar. La precisión estaba allí, pero no la facilidad de uso. Tampoco explotó ningún conocimiento del objeto que estaba tratando de reconstruir.

El equipo buscó cómo hacerlo más rápido y mucho más fácil de usar y nació la idea de hacerlo todo en un teléfono móvil sin patrón de calibración y sin procesamiento en un servidor. Pudieron explotar nuevos y emocionantes desarrollos en aprendizaje automático y potentes procesadores en teléfonos móviles modernos.

«Pudimos aprovechar los nuevos desarrollos en el aprendizaje automático (aprendizaje profundo) para reconocer objetos 3D y los sensores avanzados y los potentes procesadores en los teléfonos móviles modernos para ejecutar los algoritmos de reconstrucción en tiempo real en el teléfono. En resumen, podemos combinar un parametrizado modelo de pie y nuevos algoritmos de aprendizaje profundo para reconocer curvas y superficies que nos permiten ejecutar el algoritmo de reconstrucción 3D en tiempo real en el dispositivo», dijo el profesor Cipolla.

Usaron un modelo de pie parametrizado que se aprendió de muchos escaneos 3D de pies usando la tecnología de fotogrametría original. El modelo de pie 3D que crea la aplicación se puede representar en cualquier motor de gráficos para visualizar cómo se ve. La forma del pie se puede modificar y se controla mediante 10 parámetros diferentes que se aprenden con el aprendizaje automático. El objetivo es averiguar cuál de estos parámetros produce un pie 3D que mejor se adapta al usuario. El modelo de pie «maestro» se llama «previo», abreviatura de conocimiento previo sobre cómo se ven los pies. El usuario de la aplicación todavía toma varias imágenes alrededor del pie, pero en lugar de crear nubes de puntos (como en la fotogrametría), la aplicación utiliza el aprendizaje automático para predecir las características de nivel superior que controlan la forma del pie. Los beneficios son que el usuario de la aplicación necesita tomar menos fotos, el modelo de pie devuelto tiene menos artefactos y el proceso es más sólido en caso de que haya errores durante un escaneo. El modelo también es mucho más rápido de producir gracias al elemento de aprendizaje profundo en tiempo real de la aplicación.

El equipo acaba de lanzar la nueva versión de la aplicación que puede hacer todo en el dispositivo móvil. El servidor ya no es necesario.

Hablando de la aplicación, James Charles dice: «Siempre he tenido dificultades para conseguir zapatos del tamaño correcto. No me gusta el proceso de prueba en las tiendas y el impacto ambiental de pedir muchos zapatos en línea era una gran preocupación para mí. Sin embargo, antes de esta aplicación realmente no había otra opción. Por lo tanto, estoy muy motivado para resolver este problema y creo que ya tenemos una solución bastante buena».

Inicialmente, cuando el usuario abre la aplicación, hay una fase de calibración en la que el usuario comienza a rastrear la cámara utilizando las funciones AR más recientes en los teléfonos móviles. En un teléfono iOS que es AR Kit y en un teléfono Android es AR Core, usan el mismo conjunto de rutinas que usaría una aplicación de diseño de interiores para mapear una habitación y representar el espacio físico en forma gráfica.

Durante la fase de calibración, se realiza un seguimiento de la cámara del teléfono. La aplicación se basa en la tecnología AR para rastrear la cámara y calcular qué tan lejos se está moviendo, también detecta el pie y el piso, lo que brinda una buena idea del espacio mundial. La aplicación sabe dónde está el teléfono con una precisión de 2 mm y todo se hace a los pocos segundos de cargar la aplicación.

A medida que el teléfono se mueve, se detectan ciertos puntos clave de interés en el pie para ayudar a determinar la longitud y el ancho del pie, luego se crea una malla 3D a partir de estas medidas y el modelo se superpone sobre el pie del usuario en AR para que puedan visualizarlo. validar si es correcto.

Este es otro paso clave y diferente a la competencia. Hay aplicaciones en el mercado que también pueden validar la reconstrucción del modelo de esta manera, pero no le permiten ajustar el modelo de forma activa. Snapfeet te permite ajustar el modelo en tiempo real y luego obtener inmediatamente el modelo 3D de tu pie en el propio teléfono sin necesidad del servidor.

Hay tres algoritmos de pie de aprendizaje automático en juego. Uno está construyendo el modelo de pie parametrizado; el segundo es el aprendizaje automático que recupera los parámetros del modelo a partir de imágenes de vista múltiple a medida que mueve el teléfono móvil. Finalmente, hay un tercer algoritmo de aprendizaje automático dentro de la aplicación que compara el modelo de pie 3D con todas las formas de zapatos, u «hormas», que le interesan al cliente y luego devolverá el tamaño de esos zapatos que mejor se adapte al pie del usuario. . Esta es la prueba virtual.

Cuando los fabricantes construyen un zapato, construyen una horma que es un modelo sólido del interior del zapato. Alrededor de la horma crean el diseño del zapato. La horma del zapato junto con el material utilizado para crear el zapato determina el tamaño y el nivel de comodidad que alguien tendrá cuando ponga su pie en ese zapato.

El algoritmo tomará el modelo de pie y lo colocará digitalmente dentro de todos los zapatos que le interesen y le dará una puntuación de comodidad. Luego puede renderizar un zapato virtual en sus pies usando AR. La aplicación también detecta dónde están las piernas/pantalones para que pueda obtener el efecto de oclusión correcto, utilizando el aprendizaje automático para capturar el seguimiento del pie.

La aplicación también usa AR una vez que haya recuperado la forma de su pie para que el usuario pueda tener la sensación que debe sentir cuando se prueba el zapato. El elemento AR de la aplicación le permite al usuario ver cómo se verán los zapatos en su pie y si combinan bien con un atuendo en particular.

Snapfeet ha financiado generosamente un Ph.D. beca que permite a Ollie Boyne ampliar la investigación en el modelado de pies a partir de fotografías. La aplicación ya está disponible en la App Store y muchos vendedores de calzado la están utilizando y probando para ayudar a reducir sus devoluciones de las ventas en línea. Descarga la aplicación y pruébalo en tus propios pies.

---

---