Amazon SageMaker Lakehouse y Amazon Redshift admiten integraciones ETL cero desde aplicaciones | Servicios web de Amazon

Hoy anunciamos la disponibilidad general de la compatibilidad con Amazon SageMaker Lakehouse y Amazon Redshift para integraciones ETL cero desde aplicaciones. Amazon SageMaker Lakehouse unifica todos sus datos en los lagos de datos de Amazon Simple Storage Service (Amazon S3) y los almacenes de datos de Amazon Redshift, lo que le ayuda a crear análisis potentes y aplicaciones de IA/ML en una sola copia de datos. SageMaker Lakehouse le brinda la flexibilidad de acceder y consultar sus datos in situ con todas las herramientas y motores compatibles con Apache Iceberg. Zero-ETL es un conjunto de integraciones totalmente administradas por AWS que minimiza la necesidad de crear canalizaciones de datos ETL para casos de uso comunes de ingesta y replicación. Con integraciones sin ETL de aplicaciones como Salesforce, SAP y Zendesk, puede reducir el tiempo dedicado a crear canales de datos y concentrarse en ejecutar análisis unificados de todos sus datos en Amazon SageMaker Lakehouse y Amazon Redshift.

A medida que las organizaciones dependen de una gama cada vez más diversa de sistemas digitales, la fragmentación de datos se ha convertido en un desafío importante. La información valiosa a menudo se encuentra dispersa en múltiples repositorios, incluidas bases de datos, aplicaciones y otras plataformas. Para aprovechar todo el potencial de sus datos, las empresas deben permitir el acceso y la consolidación desde estas diversas fuentes. En respuesta a este desafío, los usuarios crean canales de datos para extraer y cargar (EL) desde múltiples aplicaciones en lagos y almacenes de datos centralizados. Al utilizar ETL cero, puede replicar de manera eficiente datos valiosos de sus aplicaciones de atención al cliente, gestión de relaciones y planificación de recursos empresariales (ERP) para análisis e IA/ML en lagos de datos y almacenes de datos, lo que le ahorra semanas de esfuerzo de ingeniería necesario para diseñar, construir. y probar canalizaciones de datos.

Requisitos previos

• Un catálogo de Amazon SageMaker Lakehouse configurado a través de AWS Glue Data Catalog y AWS Lake Formation.
• Una base de datos de AWS Glue configurada para Amazon S3 donde se almacenarán los datos.
• Un secreto en AWS Secret Manager que se utilizará para la conexión a la fuente de datos. Las credenciales deben contener el nombre de usuario y la contraseña que utiliza para iniciar sesión en su aplicación.
• Un rol de AWS Identity and Access Management (IAM) para que lo utilice el trabajo de Amazon SageMaker Lakehouse o Amazon Redshift. El rol debe otorgar acceso a todos los recursos utilizados por el trabajo, incluidos Amazon S3 y AWS Secrets Manager.
• Una conexión válida de AWS Glue a la aplicación deseada.

Cómo funciona: crear un requisito previo de conexión con pegamento
Empiezo creando una conexión mediante la consola de AWS Glue. Opto por una integración de Salesforce como fuente de datos.

A continuación, proporciono la ubicación de la instancia de Salesforce que se utilizará para la conexión, junto con el resto de la información requerida. Asegúrese de utilizar el .salesforce.com dominio en lugar de .force.com. Los usuarios pueden elegir entre dos métodos de autenticación, JSON Web Token (JWT), que se obtiene a través de tokens de acceso de Salesforce, o el inicio de sesión OAuth a través del navegador.

Reviso toda la información y luego elijo Crear conexión.

Después de iniciar sesión en la instancia de Salesforce a través de una ventana emergente (no se muestra aquí), la conexión se crea correctamente.

Cómo funciona: crear una integración ETL cero
Ahora que tengo una conexión, elijo integraciones ETL cero en el panel de navegación izquierdo y luego elija Cree una integración ETL cero.

Primero, elijo el tipo de fuente para mi integración; en este caso, Salesforce, para poder usar mi conexión creada recientemente.

A continuación, selecciono los objetos de la fuente de datos que quiero replicar en la base de datos de destino en AWS Glue.

Mientras estoy en el proceso de agregar objetos, puedo obtener una vista previa rápida de los datos y metadatos para confirmar que estoy seleccionando el objeto correcto.

De forma predeterminada, la integración ETL cero sincronizará los datos desde el origen al destino cada 60 minutos. Sin embargo, puede cambiar este intervalo para reducir el costo de replicación en casos que no requieren actualizaciones frecuentes.

reviso y luego elijo Crear y lanzar la integración.

Los datos en la fuente (instancia de Salesforce) ahora se han replicado en la base de datos de destino. salesforcezeroETL en mi cuenta de AWS. Esta integración tiene dos fases. Fase 1: la carga inicial absorberá todos los datos de los objetos seleccionados y puede tardar entre 15 minutos y algunas horas, según el tamaño de los datos de estos objetos. Fase 2: la carga incremental detectará cualquier cambio (como registros nuevos, registros actualizados o registros eliminados) y los aplicará al objetivo.

Cada uno de los objetos que seleccioné anteriormente ha sido almacenado en su respectiva tabla dentro de la base de datos. Desde aquí puedo ver el Datos de la tabla para cada uno de los objetos que se han replicado desde la fuente de datos.

Por último, aquí hay una vista de los datos en Salesforce. A medida que se crean nuevas entidades o se actualizan o modifican entidades existentes en Salesforce, los cambios de datos se sincronizarán con el destino en AWS Glue automáticamente.

Ahora disponible
El soporte de Amazon SageMaker Lakehouse y Amazon Redshift para integraciones de ETL cero desde aplicaciones ahora está disponible en EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio), EE. UU. Oeste (Oregón), Asia Pacífico (Hong Kong), Asia Pacífico (Singapur) , Regiones de AWS de Asia Pacífico (Sídney), Asia Pacífico (Tokio), Europa (Fráncfort), Europa (Irlanda) y Europa (Estocolmo). Para obtener información sobre precios, visite la página de precios de AWS Glue.

Para obtener más información, visite nuestra Guía del usuario de AWS Glue. Enviar comentarios a AWS re: Publicación para AWS Glue o a través de sus contactos habituales de AWS Support. Comience creando una nueva integración ETL cero hoy.

– Veliswa