Descubra, gobierne y colabore con datos e IA de forma segura con Amazon SageMaker Data and AI Governance | Servicios web de Amazon

Hoy anunciamos la próxima generación de Amazon SageMaker, que es una plataforma unificada para datos, análisis e inteligencia artificial que reúne capacidades de análisis y aprendizaje automático de AWS ampliamente adoptadas. Este anuncio incluye Amazon SageMaker Data y AI Governance, un conjunto de capacidades que agilizan la gestión de datos y activos de IA.

Los equipos de datos a menudo enfrentan desafíos cuando intentan localizar, acceder y colaborar en datos y modelos de IA en sus organizaciones. El proceso de descubrir activos relevantes, comprender su contexto y obtener un acceso adecuado puede llevar mucho tiempo y ser complejo, lo que podría obstaculizar la productividad y la innovación.

SageMaker Data and AI Governance ofrece un conjunto completo de funciones al brindar una experiencia unificada para catalogar, descubrir y gobernar datos y activos de IA. Se centra en el catálogo de SageMaker creado en Amazon DataZone y proporciona un repositorio centralizado al que se puede acceder a través de Amazon SageMaker Unified Studio (versión preliminar). El catálogo está integrado directamente en la plataforma SageMaker y ofrece una integración perfecta con los flujos de trabajo y las herramientas existentes de SageMaker, lo que ayuda a los ingenieros, científicos de datos y analistas a encontrar y utilizar de forma segura datos y modelos autorizados a través de funciones de búsqueda avanzada. Con la plataforma SageMaker, los usuarios pueden salvaguardar y proteger sus modelos de IA utilizando barreras de seguridad e implementando políticas de IA responsables.

Estas son algunas de las características clave de gobernanza de datos e inteligencia artificial de SageMaker:

1. Catálogo empresarial listo para la empresa – Para agregar contexto empresarial y hacer que todos los miembros de la organización puedan descubrir los datos y los activos de IA, puede personalizar el catálogo con generación automatizada de metadatos que utiliza el aprendizaje automático (ML) para generar automáticamente nombres comerciales de activos de datos y columnas dentro de esos activos. Mejoramos la funcionalidad de curación de metadatos, ayudándole a adjuntar varios términos del glosario empresarial a los activos y términos del glosario a columnas individuales del activo.
2. Autoservicio para trabajadores de datos e inteligencia artificial – Para proporcionar autonomía de datos a los usuarios para publicar y consumir datos, puede personalizar e incorporar cualquier tipo de activo al catálogo mediante API. Los editores de datos pueden automatizar el descubrimiento de metadatos mediante ejecuciones de fuentes de datos o archivos publicados manualmente desde las fuentes de datos admitidas y enriquecer los metadatos con descripciones de datos generadas por IA automáticamente a medida que los conjuntos de datos se incorporan al catálogo. Luego, los consumidores de datos pueden utilizar la búsqueda por facetas para encontrar, comprender y solicitar acceso a los datos rápidamente.
3. Acceso simplificado a datos y herramientas – Para gobernar los datos y los activos de IA en función del propósito comercial, los proyectos sirven como contenedores lógicos basados ​​en casos de uso comercial. Puede crear un proyecto y colaborar en agrupaciones de personas, datos y herramientas de análisis basadas en casos de uso empresarial específicos. Dentro del proyecto, puede crear un entorno que proporcione la infraestructura necesaria a los miembros del proyecto, como herramientas de análisis e inteligencia artificial y almacenamiento, para que los miembros del proyecto puedan producir fácilmente nuevos datos o consumir datos a los que tienen acceso. Esto le ayuda a agregar múltiples capacidades y herramientas de análisis al mismo proyecto, según sus necesidades.
4. Datos gobernados y uso compartido de modelos – Los productores de datos poseen y administran el acceso a los datos con un flujo de trabajo de aprobación de suscripción que permite a los consumidores solicitar acceso y a los propietarios de los datos aprobarlo. Ahora puede configurar los términos de suscripción para que se adjunten a los activos cuando se publiquen y automatizar el cumplimiento de la concesión de suscripción para lagos de datos administrados por AWS y Amazon Redshift con personalizaciones utilizando eventos de Amazon EventBridge para otras fuentes.
5. Ofrezca un nivel constante de seguridad de IA en todas sus aplicaciones: Amazon Bedrock Guardrails ayuda a evaluar las entradas de los usuarios y las respuestas del Foundation Model (FM) en función de políticas específicas de casos de uso, y proporciona una capa adicional de protección independientemente de los Foundation Models subyacentes. El portafolio de IA de AWS proporciona cientos de algoritmos integrados con modelos previamente entrenados de centros de modelos, incluidos TensorFlow Hub, PyTorch Hub, Hugging Face y MxNet GluonCV. También puede acceder a algoritmos integrados utilizando el SDK de SageMaker Python. Los algoritmos integrados cubren tareas comunes de aprendizaje automático, como clasificaciones de datos (imagen, texto, tabulares) y análisis de opiniones.

Para una integración perfecta con los procesos existentes, SageMaker Data and AI Governance proporciona soporte API, lo que permite el acceso programático para la instalación y configuración.

Cómo utilizar la gobernanza de datos e inteligencia artificial de Amazon SageMaker
Para esta demostración, utilizo un entorno preconfigurado. Voy a la consola de Amazon SageMaker Unified Studio (vista previa), que proporciona una experiencia de desarrollo integrada para todos sus casos de uso de datos e IA. Aquí es donde puedes crear y gestionar proyectos, que sirven como espacios de trabajo compartidos. Estos proyectos permiten a los miembros del equipo colaborar, trabajar con datos y desarrollar modelos de aprendizaje automático juntos.

Déjame empezar con el Gobernar menú en la barra de navegación.

Nuevas capacidades de gobierno de datos llamadas unidades de dominio y políticas de autorización que lo ayudan a crear una organización a nivel de unidad de negocios y de equipo y administrar políticas de acuerdo con sus necesidades comerciales. Con la adición de unidades de dominio, puede organizar, crear, buscar y encontrar activos de datos y proyectos asociados con unidades o equipos de negocios. Con las políticas de autorización, puede establecer políticas de acceso para crear proyectos y glosarios.

Las unidades de dominio también le ayudan con la gestión de autoservicio de acciones críticas, como la publicación de activos de datos y la utilización de recursos informáticos dentro de Amazon SageMaker. Elijo un proyecto y navego hasta el Fuentes de datos pestaña en el panel de navegación izquierdo. Puede utilizar esta sección para agregar fuentes de datos nuevas o administrar fuentes de datos existentes para publicar activos de datos en el catálogo de datos empresariales, haciéndolos visibles para todos los usuarios.

Vuelvo a la página de inicio y continúo explorando eligiendo Catálogo de datosque sirve como un centro centralizado donde los usuarios pueden explorar y descubrir todos los activos de datos disponibles en múltiples fuentes de datos dentro de la organización. Este catálogo se conecta a varias fuentes de datos, incluidos Amazon Simple Storage Service (Amazon S3), Amazon Redshift y AWS Glue.

La función de búsqueda semántica le ayuda a encontrar activos de datos relevantes de forma rápida y eficiente mediante consultas en lenguaje natural, lo que hace que el descubrimiento de datos sea más intuitivo. entro eventos en el Datos de búsqueda área.

Puede aplicar filtros según el tipo de activo, como la tabla de AWS Glue y Amazon Redshift.

La integración de Amazon Q Developer le ayuda a interactuar con los datos mediante un lenguaje conversacional, lo que facilita a los usuarios encontrar y comprender los activos de datos. Puede utilizar comandos de ejemplo como «Muéstrame conjuntos de datos relacionados con eventos» y «Muéstrame conjuntos de datos relacionados con ingresos». La vista detallada proporciona información completa sobre cada conjunto de datos, incluidas descripciones generadas por IA, métricas de calidad de datos y linaje de datos, lo que le ayuda a comprender el contenido y el origen de los datos.

El proceso de suscripción implementa un mecanismo de acceso controlado donde los usuarios deben justificar su necesidad de acceso a los datos, proporcionando una adecuada gobernanza y seguridad de los datos. yo elijo Suscribir para solicitar acceso.

En la ventana emergente, selecciono un proyecto, proporciono un motivo de solicitud, como necesidad de acceso, y elijo Solicitar. La solicitud se envía al propietario de los datos.

Este último paso garantiza que el acceso a los datos se rija adecuadamente a través de un flujo de trabajo de aprobación estructurado, manteniendo la seguridad de los datos y los requisitos de cumplimiento. Durante el proceso de aprobación del propietario, el propietario de los datos recibe una notificación y puede revisar los detalles de la solicitud antes de elegir aprobar o denegar el acceso, después de lo cual el solicitante puede acceder a la tabla de datos si se aprueba.

Ahora disponible
Amazon SageMaker Data and AI Governance ofrece importantes beneficios para las organizaciones que buscan mejorar su gestión de datos y activos de IA. La solución ayuda a los científicos, ingenieros y analistas de datos a superar los desafíos en el descubrimiento y el acceso a recursos al ofrecer funciones integrales para catalogar, descubrir y gobernar datos y activos de IA, al tiempo que brinda seguridad y cumplimiento a través de flujos de trabajo de aprobación estructurados.

Para obtener información sobre precios, visite Precios de Amazon SageMaker.

Para comenzar con la gobernanza de datos e inteligencia artificial de Amazon SageMaker, visite la documentación de Amazon SageMaker.

—Esra