Editor Top
|
|
Hoy, me complace anunciar la disponibilidad general de la edición compatible con Amazon Aurora PostgreSQL y las integraciones zero-ETL de Amazon DynamoDB con Amazon Redshift. La integración Zero-ETL hace que los datos transaccionales u operativos estén disponibles en Amazon Redshift, eliminando la necesidad de crear y administrar canales de datos complejos que realizan operaciones de extracción, transformación y carga (ETL). Automatiza la replicación de datos de origen en Amazon Redshift y actualiza simultáneamente los datos de origen para que usted los utilice en Amazon Redshift con capacidades de análisis y aprendizaje automático (ML) para obtener información oportuna y responder de manera efectiva a eventos críticos y urgentes.
Con estas nuevas integraciones de ETL cero, puede ejecutar análisis unificados de sus datos desde diferentes aplicaciones sin tener que crear y administrar diferentes canales de datos para escribir datos de múltiples fuentes de datos relacionales y no relacionales en un único almacén de datos. En esta publicación, proporciono dos tutoriales paso a paso sobre cómo comenzar con las integraciones de ETL cero de Amazon Aurora PostgreSQL y Amazon DynamoDB con Amazon Redshift.
Para crear una integración ETL cero, especifique un origen y Amazon Redshift como destino. La integración replica datos desde el almacén de datos de origen al de destino, haciéndolos disponibles en Amazon Redshift sin problemas y monitorea el estado de la canalización.
Exploremos cómo funcionan estas nuevas integraciones. En esta publicación, aprenderá cómo crear integraciones ETL cero para replicar datos de diferentes bases de datos de origen (Aurora PostgreSQL y DynamoDB) en el mismo clúster de Amazon Redshift. También aprenderá a seleccionar varias tablas o bases de datos de las bases de datos de origen de Aurora PostgreSQL para replicar datos en el mismo clúster de Amazon Redshift. Observará cómo las integraciones de ETL cero brindan flexibilidad sin la carga operativa de crear y administrar múltiples canales de ETL.
Introducción a la integración zero-ETL de Aurora PostgreSQL con Amazon Redshift
Antes de crear una base de datos, creo un grupo de parámetros de clúster personalizado porque la integración ETL cero de Aurora PostgreSQL con Amazon Redshift requiere valores específicos para los parámetros del clúster de base de datos de Aurora. En la consola de Amazon RDS, voy a Grupos de parámetros en el panel de navegación. yo elijo Crear grupo de parámetros.
entro custom-pg-aurora-postgres-zero-etl para Nombre del grupo de parámetros y Descripción. yo elijo Aurora PostgreSQL para tipo de motor y aurora-postgresql16 para Familia de grupos de parámetros (La integración zero-ETL funciona con PostgreSQL 16.4 o versiones superiores). Finalmente elijo Grupo de parámetros del clúster de base de datos para Tipo y elige Crear.
A continuación, edito el grupo de parámetros del clúster recién creado seleccionándolo en la Grupos de parámetros página. yo elijo Comportamiento y luego elegir Editar. Configuré las siguientes configuraciones de parámetros de clúster:
rds.logical_replication=1aurora.enhanced_logical_replication=1aurora.logical_replication_backup=0aurora.logical_replication_globaldb=0
yo elijo Guardar cambios.
A continuación, creo una base de datos Aurora PostgreSQL. Al crear la base de datos, puede establecer las configuraciones según sus necesidades. Recuerda elegir Aurora PostgreSQL (compatible con PostgreSQL 16.4 o superior) de Versiones disponibles y el grupo de parámetros de clúster personalizado (custom-pg-aurora-postgres-zero-etl en este caso) para Grupo de parámetros del clúster de base de datos en el Configuración adicional sección.
Una vez que la base de datos esté disponible, me conecto al clúster Aurora PostgreSQL y creo una base de datos llamada libros, crear una tabla llamada catálogo_libro en el esquema predeterminado para esta base de datos e inserte datos de muestra para usar con la integración de ETL cero.
Para comenzar con la integración ETL cero, utilizo un almacén de datos de Amazon Redshift existente. Para crear y administrar recursos de Amazon Redshift, visite la Guía de introducción a Amazon Redshift.
En la consola de Amazon RDS, voy al Integraciones ETL cero pestaña en el panel de navegación y elija Cree una integración ETL cero. entro postgres-redshift-zero-etl para Identificador de integración y Amazon Aurora zero-ETL integration with Amazon Redshift para Descripción de la integración. yo elijo Próximo.
En la página siguiente, elijo Explorar bases de datos RDS para seleccionar la base de datos de origen. Para el Opciones de filtrado de datosyo uso database.schema.table patrón. Incluyo mi tabla llamada catálogo_libro en Aurora PostgreSQL libros base de datos. El * en los filtros se replicará todo catálogo_libro tablas en todos los esquemas dentro libros base de datos. yo elijo Incluir como tipo de filtro e ingrese books.*.book_catalog en el Expresión de filtro campo. yo elijo Próximo.
En la página siguiente, elijo Explorar los almacenes de datos de Redshift y seleccione el almacén de datos de Amazon Redshift existente como destino. Debo especificar los principales autorizados y el origen de integración en el destino para permitir que Amazon Aurora se replique en el almacén de datos y habilite la distinción entre mayúsculas y minúsculas. Amazon RDS puede completar estos pasos por mí durante la configuración, o puedo configurarlos manualmente en Amazon Redshift. Para esta demostración, elijo Arréglalo por mí y elige Próximo.
Una vez corregidos el parámetro de distinción entre mayúsculas y minúsculas y la política de recursos para el almacén de datos, elijo Próximo en el siguiente Agregar etiquetas y cifrado página. Después de revisar la configuración, elijo Cree una integración ETL cero.
Una vez que la integración se realizó correctamente, elijo el nombre de la integración para verificar los detalles.
Ahora, necesito crear una base de datos desde la integración para terminar de configurar. Voy a la consola de Amazon Redshift, elijo Integraciones ETL cero en el panel de navegación y seleccione la integración de Aurora PostgreSQL que acabo de crear. yo elijo Crear base de datos desde la integración.
yo elijo libros como Base de datos denominada fuente y entro zeroetl_aurorapg como el Nombre de la base de datos de destino. yo elijo Crear base de datos.
Una vez creada la base de datos, vuelvo a la página de integración de Aurora PostgreSQL. En esta página elijo Consultar datos para conectarse al almacén de datos de Amazon Redshift para observar si los datos se replican. Cuando ejecuto una consulta de selección en el zeroetl_aurorapg base de datos, veo que los datos en catálogo_libro La tabla se replica correctamente en Amazon Redshift.
Como dije al principio, puede seleccionar varias tablas o bases de datos de la base de datos de origen de Aurora PostgreSQL para replicar los datos en el mismo clúster de Amazon Redshift. Para agregar otra base de datos a la misma integración ETL cero, todo lo que tengo que hacer es agregar otro filtro al Opciones de filtrado de datos en forma de database.schema.tablereemplazando la parte de la base de datos con el nombre de la base de datos que quiero replicar. Para esta demostración, seleccionaré varias tablas para replicarlas en el mismo almacén de datos. Creo otra tabla llamada editor en el clúster de Aurora PostgreSQL e inserte datos de muestra en él.
edito el Opciones de filtrado de datos para incluir la tabla del editor para la replicación. Para ello voy al postgres-corrimiento al rojo-cero-etl página de detalles y elija Modificar. agrego books.*.publisher usando coma en el Expresión de filtro campo. yo elijo Continuar. Reviso los cambios y elijo Guardar cambios. Observo que el Tablas de datos filtrados La sección en la página de detalles de la integración ahora tiene 2 tablas incluidas para replicación.
Cuando cambio al editor de consultas de Amazon Redshift y actualizo las tablas, puedo ver que el nuevo editor La tabla y sus registros se replican en el almacén de datos.
Ahora que completé la integración zero-ETL de Aurora PostgreSQL con Amazon Redshift, creemos una integración zero-ETL de DynamoDB con el mismo almacén de datos.
Introducción a la integración de ETL cero de DynamoDB con Amazon Redshift
En esta parte, procedo a crear una integración ETL cero de Amazon DynamoDB utilizando una tabla de Amazon DynamoDB existente denominada Libro_Catálogo. La tabla tiene 2 elementos:
Voy a la consola de Amazon Redshift y elijo Integraciones ETL cero en el panel de navegación. Luego, elijo la flecha al lado de Cree una integración ETL cero y elige Crear integración con DynamoDB. entro dynamodb-redshift-zero-etl para Nombre de la integración y Amazon DynamoDB zero-ETL integration with Amazon Redshift para Descripción. yo elijo Próximo.
En la página siguiente, elijo Explorar tablas de DynamoDB y seleccione el Libro_Catálogo mesa. Debo especificar una política de recursos con principales autorizados y fuentes de integración, y habilitar la recuperación a un momento dado (PITR) en la tabla de origen antes de crear una integración. Amazon DynamoDB puede hacerlo por mí o puedo cambiar la configuración manualmente. yo elijo Arréglalo por mí para aplicar automáticamente las políticas de recursos requeridas para la integración y habilitar PITR en la tabla de DynamoDB. yo elijo Próximo.
Luego, elijo mi almacén de datos existente de Amazon Redshift Serverless como destino y elijo Próximo.
yo elijo Próximo otra vez en el Agregar etiquetas y cifrado página y elija Crear integración con DynamoDB en el Revisar y crear página.
Ahora, necesito crear una base de datos a partir de la integración para terminar de configurarla tal como lo hice con la integración ETL cero de Aurora PostgreSQL. En la consola de Amazon Redshift, elijo la integración de DynamoDB y elijo Crear base de datos desde la integración. En la pantalla emergente, ingreso zeroetl_dynamodb como el Nombre de la base de datos de destino y elige Crear base de datos.
Una vez creada la base de datos, voy a Amazon Redshift Integraciones ETL cero y elija la integración de DynamoDB que creé. En esta página elijo Consultar datos conectarse al almacén de datos de Amazon Redshift para observar si los datos de DynamoDB Libro_Catálogo La tabla se replica. Cuando ejecuto una consulta de selección en el ceroetl_dynamodb base de datos, veo que los datos se replican correctamente en Amazon Redshift. Tenga en cuenta que los datos de DynamoDB se replican en la columna de tipo de datos SUPER y se puede acceder a ellos mediante PartiQL sql.
Inserto otra entrada al DynamoDB Libro_Catálogo mesa.
Cuando cambio al editor de consultas de Amazon Redshift y actualizo la consulta de selección, puedo ver que el nuevo registro se replica en el almacén de datos.
Las integraciones Zero-ETL entre Aurora PostgreSQL y DynamoDB con Amazon Redshift lo ayudan a unificar datos de múltiples clústeres de bases de datos y desbloquear información en su almacén de datos. Amazon Redshift permite consultas entre bases de datos y vistas materializadas basadas en varias tablas, lo que le brinda la oportunidad de consolidar y simplificar sus activos de análisis, mejorar la eficiencia operativa y optimizar los costos. Ya no tendrá que preocuparse por configurar y administrar complejos canales de ETL.
Ahora disponible
La integración zero-ETL de Aurora PostgreSQL con Amazon Redshift ahora está disponible en EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio), EE. UU. Oeste (Oregón), Asia Pacífico (Hong Kong), Asia Pacífico (Mumbai), Asia Pacífico (Singapur). ), Regiones de AWS de Asia Pacífico (Sídney), Asia Pacífico (Tokio), Europa (Frankfurt), Europa (Irlanda) y Europa (Estocolmo).
La integración zero-ETL de Amazon DynamoDB con Amazon Redshift ahora está disponible en todas las regiones comerciales, China y GovCloud de AWS.
Para obtener información sobre precios, visite las páginas de precios de Amazon Aurora y Amazon DynamoDB.
Para comenzar con esta característica, visite Trabajar con integraciones de Aurora zero-ETL con Amazon Redshift y la documentación de integraciones de Amazon Redshift Zero-ETL.
GIPHY App Key not set. Please check settings