Un enfoque de poda para el diseño de redes neuronales optimizado para configuraciones de hardware específicas

La poda de redes neuronales es una técnica clave para implementar modelos de inteligencia artificial (IA) basados ​​en redes neuronales profundas (DNN) en plataformas con recursos limitados, como los dispositivos móviles. Sin embargo, las condiciones del hardware y la disponibilidad de recursos varían enormemente en las distintas plataformas, por lo que es esencial diseñar modelos podados que se adapten de manera óptima a configuraciones de hardware específicas.

La poda de redes neuronales teniendo en cuenta el hardware ofrece una forma eficaz de automatizar este proceso, pero requiere equilibrar múltiples objetivos conflictivos, como la precisión de la red, la latencia de inferencia y el uso de la memoria, que los métodos matemáticos tradicionales tienen dificultades para resolver.

En un estudio publicado En el diario Investigación fundamentalun grupo de investigadores de Shenzhen, China, presenta un nuevo enfoque de poda de redes neuronales consciente del hardware basado en la optimización evolutiva de múltiples objetivos.

«Proponemos emplear algoritmos evolutivos multiobjetivo (MOEA) para resolver el problema de poda de redes neuronales de hardware», afirma Ke Tang, autor principal y correspondiente del estudio.

En comparación con los algoritmos de optimización convencionales, los MOEA tienen dos ventajas para abordar este problema. Una es que no requieren supuestos particulares como diferenciabilidad o continuidad, y poseen una gran capacidad para la optimización de caja negra. La otra es su capacidad para encontrar múltiples soluciones óptimas de Pareto en una sola ejecución de simulación, lo que es muy útil en la práctica porque ofrece flexibilidad para satisfacer diferentes requisitos de los usuarios.

«En concreto, una vez que se ha encontrado un conjunto de soluciones, los usuarios finales pueden elegir fácilmente sus configuraciones preferidas de compresión DNN, como latencia primero o consumo de memoria primero, con solo un clic en las soluciones correspondientes», añade Tang.

Los hallazgos del equipo revelaron además que, si bien los algoritmos evolutivos multiobjetivo tienen un potencial significativo, aún tienen problemas con la baja eficiencia de búsqueda. Con ese fin, los investigadores desarrollaron un nuevo MOEA, denominado Hardware-Aware Multi-objective evolutionary network Pruning (HAMP), para abordar este problema.

«Es un MOEA memético que combina una selección basada en carteras eficiente y un operador de búsqueda local con asistencia de sustitutos. HAMP es actualmente el único enfoque de poda de red que puede manejar de manera eficaz la retroalimentación directa y la precisión de múltiples hardware de manera simultánea», explica el primer autor Wenjing Hong. «Los estudios experimentales en el NVIDIA Jetson Nano móvil demuestran la eficacia de HAMP en comparación con el estado del arte y el potencial de los MOEA para la poda de red con reconocimiento de hardware».

Los resultados del equipo muestran que HAMP no sólo consigue alcanzar soluciones mejores en todos los objetivos, sino que también ofrece simultáneamente un conjunto de soluciones alternativas.

«Estas soluciones presentan diferentes compensaciones entre latencia, consumo de memoria y precisión y, por lo tanto, pueden facilitar una implementación rápida de DNN en la práctica», concluye Hong.

Proporcionado por KeAi Communications Co.