TecTop
|
|
A medida que mueve sus cargas de trabajo de aprendizaje automático (ML) a producción, necesita monitorear continuamente sus modelos implementados e iterar cuando observe una desviación en el rendimiento de su modelo. Cuando crea un nuevo modelo, normalmente comienza a validar el modelo fuera de línea utilizando datos de solicitud de inferencia histórica. Pero estos datos a veces no tienen en cuenta las condiciones actuales del mundo real. Por ejemplo, los nuevos productos pueden convertirse en tendencias que su modelo de recomendación de productos aún no ha visto. O experimenta un aumento repentino en el volumen de solicitudes de inferencia en producción a las que nunca antes había expuesto su modelo.
Hoy, estoy emocionado de anunciar Soporte de Amazon SageMaker para pruebas de sombra.
La implementación de un modelo en modo sombra le permite realizar una prueba más holística al enrutar una copia de las solicitudes de inferencia en vivo para un modelo de producción al nuevo modelo (sombra). Sin embargo, solo las respuestas del modelo de producción se devuelven a la aplicación que llama. Las pruebas de sombra lo ayudan a generar mayor confianza en su modelo y detectar posibles errores de configuración y problemas de rendimiento antes de que afecten a los usuarios finales. Una vez que complete una prueba de sombra, puede usar las medidas de seguridad de implementación para los extremos de inferencia de SageMaker para actualizar su modelo en producción de manera segura.
Comience con las pruebas de sombra de Amazon SageMaker
Puede crear pruebas paralelas con la nueva consola de inferencia de SageMaker y las API. Las pruebas de sombra le brindan una experiencia completamente administrada para configurar, monitorear, ver y actuar sobre los resultados de las pruebas de sombra. Si tiene flujos de trabajo existentes creados alrededor de puntos finales de SageMaker, también puede implementar un modelo en modo oculto utilizando las API de inferencia de SageMaker existentes.
En la consola de SageMaker, seleccione Inferencia y Pruebas de sombra para crear, monitorear e implementar pruebas de sombra.
Para crear una prueba de sombra, seleccione una variante de producción y punto final de SageMaker existente (o cree una nueva) contra la que desea realizar la prueba.
A continuación, configure la proporción de tráfico para enviar a la variante oculta, las métricas de comparación que desea evaluar y la duración de la prueba. También puede habilitar la captura de datos para su variante de producción y sombra.
Eso es todo. SageMaker ahora implementa automáticamente la nueva variante en modo oculto y enruta una copia de las solicitudes de inferencia en tiempo real, todo dentro del mismo punto final. El siguiente diagrama ilustra este flujo de trabajo.
Tenga en cuenta que solo las respuestas de la variante de producción se devuelven a la aplicación que llama. Puede optar por descartar o registrar las respuestas de la variante oculta para compararlas sin conexión.
También puede utilizar las pruebas paralelas para validar los cambios que realizó en cualquier componente de su variante de producción, incluido el contenedor de servicio o la instancia de ML. Esto puede ser útil cuando actualiza a una nueva versión del marco de su contenedor de servicio, aplica parches o si desea asegurarse de que no haya impacto en la latencia o la tasa de error debido a este cambio. De manera similar, si considera pasar a otro tipo de instancia de ML, por ejemplo, instancias Amazon EC2 C7g basadas en procesadores AWS Graviton o instancias EC2 G5 con tecnología de GPU NVIDIA A10G Tensor Core, puede usar la prueba de sombra para evaluar el rendimiento en el tráfico de producción antes. para desplegar
Puede monitorear el progreso de la prueba de sombra y las métricas de rendimiento, como la latencia y la tasa de error, a través de un tablero en vivo. En la consola de SageMaker, seleccione Inferencia y Pruebas de sombraluego seleccione la prueba de sombra que desea monitorear.
Si decide promocionar el modelo alternativo a producción, seleccione Implementar variante oculta y definir la configuración de la infraestructura para implementar la variante oculta.
También puede usar las medidas de seguridad de implementación de SageMaker si desea agregar modos de cambio de tráfico lineal o controlado y reversiones automáticas a su actualización.
Disponibilidad y precios
El soporte de SageMaker para las pruebas paralelas está disponible hoy en todas las regiones de AWS donde el alojamiento de SageMaker está disponible, excepto en las regiones de AWS GovCloud (EE. UU.) y las regiones de AWS China.
No hay ningún cargo adicional por las pruebas paralelas de SageMaker, aparte de los cargos por uso de las instancias de ML y el almacenamiento de ML aprovisionado para alojar la variante paralela. El precio de las instancias de ML y las dimensiones de almacenamiento de ML es el mismo que el de la opción de inferencia en tiempo real. No hay cargo adicional por los datos procesados dentro y fuera de las implementaciones en la sombra. La página de precios de SageMaker tiene todos los detalles.
Para obtener más información, visite las pruebas de sombra de Amazon SageMaker.
¡Comience a validar sus nuevos modelos ML con las pruebas de sombra de SageMaker hoy!
— Antje
