TecTop
|
|
Cuando hablamos con los clientes, escuchamos que quieren poder aprovechar los conocimientos de los datos para tomar decisiones comerciales oportunas, impactantes y procesables. Un patrón común con las organizaciones basadas en datos es que tienen muchas fuentes de datos diferentes que necesitan ingerir en sus sistemas de análisis. Esto requiere que construyan canalizaciones de datos manuales que abarquen sus bases de datos operativas, lagos de datos, transmisión de datos y datos dentro de su almacén. Como consecuencia de esta configuración compleja, los ingenieros de datos pueden tardar semanas o incluso meses en crear canalizaciones de ingesta de datos. Estas canalizaciones de datos son costosas y los retrasos pueden provocar la pérdida de oportunidades comerciales. Además, los almacenes de datos se están convirtiendo cada vez más en sistemas de misión crítica que requieren alta disponibilidad, confiabilidad y seguridad.
Amazon Redshift es un almacén de datos a escala de petabytes totalmente administrado que utilizan decenas de miles de clientes para analizar todos sus datos de manera fácil, rápida, segura y rentable a cualquier escala. Este año en re:Invent, Amazon Redshift ha anunciado una serie de funciones para ayudarlo a simplificar la ingesta de datos y obtener información de manera fácil y rápida, dentro de un entorno seguro y confiable.
En este blog, presento algunas de estas nuevas características que encajan en dos categorías principales:
- Simplifique la ingesta de datos
- Amazon Redshift ahora admite copia automática desde Amazon S3 (disponible en vista previa). Con esta nueva capacidad, Amazon Redshift carga automáticamente los archivos que llegan a una ubicación de Amazon Simple Storage Service (Amazon S3) que especifique en su almacén de datos. Los archivos pueden utilizar cualquiera de los formatos admitidos por el comando de copia de Amazon Redshift, como CSV, JSON, Parquety Avro. De esta forma, no es necesario ejecutar manualmente o repetidamente los procedimientos de copia. Amazon Redshift automatiza la ingesta de archivos y se encarga de los pasos de carga de datos bajo el capó.
- Con Integración de ETL cero de Amazon Aurora con Amazon Redshift, puede usar Amazon Redshift para realizar análisis casi en tiempo real y aprendizaje automático en petabytes de datos transaccionales almacenados en bases de datos MySQL de Amazon Aurora (disponibles en versión preliminar limitada). Con esta capacidad, puede elegir las bases de datos de Amazon Aurora que contienen los datos que desea analizar con Amazon Redshift. Luego, los datos se replican en su almacén de datos segundos después de que los datos transaccionales se escriben en Amazon Aurora, lo que elimina la necesidad de crear y mantener canalizaciones de datos complejas. Puede replicar datos de varias bases de datos de Amazon Aurora en la misma instancia de Amazon Redshift para ejecutar análisis en varias aplicaciones. Con acceso casi en tiempo real a los datos transaccionales, puede aprovechar los análisis y las capacidades de Amazon Redshift, como el aprendizaje automático (ML) integrado, las vistas materializadas, el uso compartido de datos y el acceso federado a múltiples almacenes de datos y lagos de datos, para obtener información. a partir de datos transaccionales y de otro tipo.
- Con la disponibilidad general de Ingestión de streaming de Amazon Redshift, ahora puede ingerir de forma nativa cientos de megabytes de datos por segundo de Amazon Kinesis Data Streams y Amazon MSK en una vista materializada de Amazon Redshift y consultarla en segundos. Obtenga más información en esta publicación.
- Haga que su almacén de datos sea más seguro y confiable
- Ahora puede mejorar la disponibilidad de su almacén de datos eligiendo múltiples implementaciones de zonas de disponibilidad (AZ). Multi-AZ las implementaciones para sus clústeres de Amazon Redshift están disponibles en versión preliminar y reducen los tiempos de recuperación a segundos a través de la recuperación automática. De esta manera, puede crear soluciones que cumplan más con las recomendaciones del pilar de confiabilidad del marco de buena arquitectura de AWS.
- Con enmascaramiento dinámico de datos (disponible en versión preliminar), puede proteger la información confidencial almacenada en su almacén de datos y asegurarse de que los usuarios solo puedan acceder a los datos relevantes en función de sus roles. Puede limitar la cantidad de datos identificables visibles para los usuarios que utilizan varios niveles de políticas para que diferentes usuarios y grupos puedan tener diferentes niveles de acceso a los datos sin tener que crear varias copias de los datos. El enmascaramiento dinámico de datos complementa otras capacidades granulares de control de acceso en Amazon Redshift, incluida la seguridad a nivel de fila y de columna y los controles de acceso basados en roles. De esta manera, el enmascaramiento dinámico de datos lo ayuda a cumplir con los requisitos de GDPR, CCPA y otras regulaciones de privacidad.
- Amazon Redshift ahora admite central controles de acceso para compartir datos con AWS Lake Formation (disponible en versión preliminar pública). Ahora puede usar Lake Formation para simplificar la gobernanza de los datos compartidos desde Amazon Redshift y administrar de forma centralizada el acceso granular en todos los consumidores que comparten datos.
Ha habido otras noticias interesantes para Amazon Redshift en re:Invent de las que quizás ya haya oído hablar:
- La disponibilidad general de la integración de Amazon Redshift para Apache Spark facilita la creación y ejecución de aplicaciones Spark en Amazon Redshift y Redshift Serverless, lo que abre el almacén de datos para un conjunto más amplio de soluciones de análisis y aprendizaje automático de AWS.
- AWS Backup ahora es compatible con Amazon Redshift. AWS Backup le permite definir una política de respaldo central para administrar la protección de datos de sus aplicaciones y también puede proteger sus clústeres de Amazon Redshift. De esta forma, tiene una experiencia uniforme al administrar la protección de datos en todos los servicios admitidos.
Disponibilidad y precios
Las implementaciones Multi-AZ, el control de acceso central para compartir datos con AWS Lake Formation, la copia automática desde Amazon S3 y el enmascaramiento dinámico de datos están disponibles en versión preliminar en EE.UU. Este (Ohio), EE.UU. Este (Norte de Virginia), EE.UU. Oeste (Oregón ), Asia Pacífico (Tokio), Europa (Irlanda) y Europa (Estocolmo).
No hay costo adicional por usar la copia automática de Amazon S3 y el análisis casi en tiempo real de los datos transaccionales. No hay cargo adicional por el enmascaramiento dinámico de datos y el control de acceso central para compartir datos. Para obtener más información, consulte los precios de Amazon Redshift.
Estas nuevas capacidades lo llevan un paso más allá en el análisis de todos sus datos a través de fuentes de datos con capacidades simples de ingesta de datos, mientras mejoran la seguridad y confiabilidad de su almacén de datos.
— Danilo
