Anuncio de Amazon FSx Intelligent-Tiering, una nueva clase de almacenamiento para FSx para OpenZFS | Servicios web de Amazon

Cuando hablo con clientes que planean migrar cantidades masivas de datos locales a AWS, me dicen que quieren simplificar la administración de su almacenamiento, reducir sus costos y hacer que los datos sean más accesibles para que puedan usarse para análisis, capacitación en aprendizaje automático, genómica y otros casos de uso. Los clientes ya utilizan el almacenamiento conectado en red (NAS) local y buscan una actualización basada en la nube que ofrezca capacidades similares, incluidas instantáneas de un momento dado, clones de datos y administración de usuarios.

Los clientes de AWS, como Amdocs, Vela Games y Astera Labs, han estado ejecutando sus cargas de trabajo NAS de misión crítica y de alto rendimiento, como bases de datos, desarrollo y transmisión de juegos y diseño de chips semiconductores en Amazon FSx para OpenZFS. Han estado utilizando la clase de almacenamiento SSD existente en FSx para proporcionar el alto rendimiento predecible que estas cargas de trabajo necesitan. Sin embargo, muchos otros clientes tienen grandes conjuntos de datos almacenados en almacenamiento NAS basado en HDD o SSD/HDD híbrido en sus instalaciones y a quienes les resulta prohibitivo mover sus conjuntos de datos al almacenamiento totalmente SSD. Además, a estos clientes les resulta cada vez más difícil y costoso administrar el almacenamiento aprovisionado localmente para conjuntos de datos impredecibles y evitar quedarse sin espacio. Y mantienen sus datos de NAS por más tiempo porque podrían tener valor futuro para construir su próximo modelo, estrategia de inversión o producto, pero eso significa que necesitan dedicar más tiempo y esfuerzo a monitorear los patrones de acceso y mover datos entre frío y calor. medios de almacenamiento para optimizar costos.

Niveles inteligentes de FSx
Teniendo todo esto en cuenta, me complace poder informarles sobre la nueva clase de almacenamiento de niveles inteligentes de Amazon FSx, disponible hoy para su uso con Amazon FSx para sistemas de archivos OpenZFS. La nueva clase de almacenamiento tiene un precio un 85% más bajo que la clase de almacenamiento SSD existente y un 20% menos que las implementaciones tradicionales basadas en HDD en las instalaciones, y brinda total elasticidad y niveles inteligentes a los conjuntos de datos NAS.

Sus datos se mueven entre tres niveles de almacenamiento (Acceso frecuente, Acceso poco frecuente y Archivo) sin ningún esfuerzo de su parte, por lo que obtiene ahorros de costos automáticos sin costos ni compromisos iniciales. Así es como funcionan los niveles:

Acceso frecuente – Los datos a los que se ha accedido en los últimos 30 días se almacenan en este nivel.

Acceso poco frecuente – Los datos a los que no se ha accedido durante 30 a 90 días se almacenan en niveles, con una reducción de costos del 44% respecto al acceso frecuente.

Archivo – Los datos a los que no se ha accedido durante 90 días o más se almacenan en este nivel, con una reducción de costos del 65 % respecto al acceso poco frecuente.

Independientemente del nivel de almacenamiento, sus datos se almacenan en múltiples zonas de disponibilidad (AZ) de AWS para lograr redundancia y disponibilidad, y se pueden recuperar instantáneamente en milisegundos.

No es necesario administrar ni aprovisionar previamente el almacenamiento, lo que hace que esta clase de almacenamiento sea ideal para casos de uso como genómica, análisis de datos financieros, análisis de imágenes sísmicas y aprendizaje automático, donde los requisitos de almacenamiento pueden cambiar drásticamente en el transcurso de días o semanas.

Además del potencial de ahorro de costos, obtiene un alto rendimiento: hasta 400 000 IOPS y 20 GB/segundo de rendimiento para cada sistema de archivos OpenZFS, con un tiempo hasta el primer byte de decenas de milisegundos para todos los datos, independientemente del almacenamiento. clase. También puede configurar una caché de lectura basada en SSD (de 64 GiB a 512 TiB) para reducir el tiempo hasta el primer byte de 10 a 100 veces para los datos almacenados en caché.

Creando un sistema de archivos
Puedo crear un sistema de archivos utilizando la Consola de administración de AWS, la CLI, la API o AWS CloudFormation. Desde la Consola hago clic Crear sistema de archivos para empezar:

yo elijo Amazon FSx para OpenZFS y haga clic Próximo:

Luego ingreso un nombre (jeff_fsx_openzfs_1) para mi sistema de archivos y seleccione el Niveles inteligentes clase de almacenamiento. elijo lo deseado Capacidad de rendimientoy selecciono uno de los tres modo de dimensionamiento opciones para el caché de lectura, haga clic en Próximoy confirmo mis elecciones para crear mi sistema de archivos:

Está listo en cuestión de minutos y puedo montarlo mediante NFS en mi instancia EC2:

$ sudo mkfs /fsx_zfs
$ sudo mount -t nfs -o noatime,nfsvers=4.2,sync,nconnect=16,rsize=1048576,wsize=1048576 \
  fs-00fc74f020d1e6f4e.fsx.us-east-2.aws.internal:/fsx/ /fsx_zfs/

Después de ejecutar una carga de trabajo representativa por un tiempo, puedo observar las métricas y revisar el rendimiento de mi sistema de archivos:

Parece que tengo suficiente rendimiento, pero mi caché de lectura puede ser mayor de lo necesario. Lo creé en modo Aprovisionado automáticamente, que asignó 3200 GiB de caché. Puedo cambiar eso (y ahorrar algo de dinero) con un par de clics:

También puedo cambiar la capacidad de rendimiento según sea necesario:

AmazonFSxNAS Características y atributos
Echemos un vistazo rápido a algunas de las características que hacen que FSx para OpenZFS y la clase de almacenamiento FSx Intelligent-Tiering sean excelentes para sus necesidades de almacenamiento a nivel NAS:

Copias de seguridad integradas – Amazon FSx realiza automáticamente una copia de seguridad diaria de cada sistema de archivos durante un período de copia de seguridad específico y los conserva durante un período de retención específico. Las copias de seguridad son consistentes con el sistema de archivos, altamente duraderas e incrementales. También puedes crear copias de seguridad por tu cuenta y conservarlas durante el tiempo que sea necesario.

Instantáneas de un momento dado -Puedes crear una imagen de solo lectura de un volumen OpenZFS en cualquier momento. Las instantáneas se almacenan dentro del sistema de archivos y consumen almacenamiento; se pueden utilizar para restaurar un volumen, restaurar archivos y carpetas individuales o para crear un nuevo volumen como un clon o una copia completa.

Replicación – Puede replicar una vista de un momento dado de un volumen OpenZFS en otro volumen en todos los sistemas de archivos, regiones de AWS y cuentas de AWS. Usos de FSx Envío/recepción ZFS tecnología detrás de escena para realizar esta replicación y establece y mantiene automáticamente la conectividad de red entre sistemas de archivos para manejar las interrupciones y reanudar la transferencia de datos según sea necesario.

Compresión de datos – Puede habilitar la compresión ZSTD o LZ4 en sus volúmenes OpenZFS para reducir el costo de almacenamiento y acelerar la transferencia de datos.

Cuotas de usuarios y volúmenes – Puede limitar la cantidad de almacenamiento consumida por un volumen o usuario individual.

Cosas que debes saber
Aquí hay un par de cosas a tener en cuenta antes de terminar:

Regiones – Esta nueva clase de almacenamiento está disponible en el este de EE. UU. (Ohio, Virginia del Norte), el oeste de EE. UU. (Oregón), Asia Pacífico (Mumbai, Singapur, Sídney, Tokio), Canadá (Central) y Europa (Frankfurt, Irlanda) AWS Regiones.

Precios – El precio se basa en la cantidad de almacenamiento primario consumido (GB/mes) y la caché de lectura aprovisionada (GB/mes). Consulte la página de precios de Amazon FSx para OpenZFS para obtener más información.

— jeff;