Editor Top
|
|
Hoy anunciamos tres nuevas capacidades para Amazon S3 Storage Lens que le brindan información más detallada sobre el rendimiento de su almacenamiento y sus patrones de uso. Con la incorporación de métricas de rendimiento, soporte para analizar miles de millones de prefijos y exportación directa a tablas de Amazon S3, tiene las herramientas que necesita para optimizar el rendimiento de las aplicaciones, reducir costos y tomar decisiones basadas en datos sobre su estrategia de almacenamiento de Amazon S3.
Nuevas categorías de métricas de rendimiento
S3 Storage Lens ahora incluye ocho nuevas categorías de métricas de rendimiento que ayudan a identificar y resolver limitaciones de rendimiento en toda su organización. Están disponibles en los niveles de organización, cuenta, depósito y prefijo. Por ejemplo, el servicio le ayuda a identificar objetos pequeños en un depósito o prefijo que pueden ralentizar el rendimiento de la aplicación. Esto se puede mitigar agrupando objetos pequeños por lotes para utilizar la clase de almacenamiento Amazon S3 Express One Zone para cargas de trabajo de objetos pequeños de mayor rendimiento.
Para acceder a las nuevas métricas de rendimiento, debe habilitar las métricas de rendimiento en el nivel avanzado de S3 Storage Lens al crear un nuevo panel de Storage Lens o al editar una configuración existente.
| Categoría métrica | Detalles | Caso de uso | Mitigación |
| Leer tamaño de solicitud | Distribución de tamaños de solicitudes de lectura (GET) por día | Identifique conjuntos de datos con pequeños patrones de solicitudes de lectura que ralentizan el rendimiento | Solicitud pequeña: realice lotes de objetos pequeños o utilice Amazon S3 Express One Zone para cargas de trabajo de objetos pequeños de alto rendimiento |
| Escribir tamaño de solicitud | Distribución de tamaños de solicitudes de escritura (PUT, POST, COPY y UploadPart) por día | Identifique conjuntos de datos con pequeños patrones de solicitud de escritura que ralentizan el rendimiento | Solicitud grande: paralelice solicitudes, use MPU o use AWS CRT |
| Tamaño de almacenamiento | Distribución de tamaños de objetos. | Identificar conjuntos de datos con pequeños objetos que ralentizan el rendimiento. | Tamaños de objetos pequeños: considere agrupar objetos pequeños |
| Errores PUT 503 simultáneos | Número de 503 debido a una operación PUT simultánea en el mismo objeto | Identifique prefijos con limitación PUT simultánea que ralentizan el rendimiento | Para un solo escritor, modifique el comportamiento de reintento o utilice Amazon S3 Express One Zone. Para varios escritores, utilice el mecanismo de consenso o utilice Amazon S3 Express One Zone |
| Transferencia de datos entre regiones | Bytes transferidos y solicitudes enviadas a través de la Región, en la Región | Identificar la posible degradación del rendimiento y los costos debido al acceso a datos entre regiones | Ubique la computación con datos en la misma región de AWS |
| Objetos únicos accedidos | Número o porcentaje de objetos únicos a los que se accede por día | Identifique conjuntos de datos a los que se accede con frecuencia a un pequeño subconjunto de objetos. Estos se pueden mover a un nivel de almacenamiento de mayor rendimiento para obtener un mejor rendimiento. | Considere mover datos activos a Amazon S3 Express One Zone u otras soluciones de almacenamiento en caché |
| FirstByteLatency (métrica existente de Amazon CloudWatch) | Promedio diario de la métrica de latencia del primer byte | El tiempo promedio diario por solicitud desde que se recibe la solicitud completa hasta que comienza a devolverse la respuesta | |
| TotalRequestLatency (métrica existente de Amazon CloudWatch) | Promedio diario de latencia total de solicitudes | El promedio diario transcurrido por tiempo de solicitud desde el primer byte recibido hasta el último byte enviado |
como funciona
En la consola Amazon S3 elijo Crear panel de lentes de almacenamiento para crear un nuevo panel. También puede editar una configuración de panel existente. Luego configuro ajustes generales, como proporcionar un Nombre del panel, Estadoy el opcional Etiquetas. Entonces elijo Próximo.
A continuación, defino el alcance del panel seleccionando Incluir todas las regiones e incluir todos los depósitos y especificar las regiones y depósitos que se incluirán.
Opto por el Nivel avanzado en la configuración del panel de Storage Lens, seleccione Métricas de rendimientoluego elige Próximo.
A continuación selecciono Agregación de prefijos como una agregación de métricas adicionales, luego dejo el resto de la información como predeterminada antes de elegir Próximo.
selecciono el Informe de métricas predeterminadoentonces Cuchara de uso general como tipo de depósito y luego seleccione el depósito de Amazon S3 en mi cuenta de AWS como Cubo de destino. Dejo el resto de la información por defecto, luego selecciono Próximo.
Reviso toda la información antes de elegir Entregar para finalizar el proceso.
Una vez habilitado, recibiré métricas de rendimiento diarias directamente en el panel de la consola de Storage Lens. También puede optar por exportar el informe en formato CSV o Parquet a cualquier depósito de su cuenta o publicarlo en Amazon CloudWatch. Las métricas de rendimiento se agregan y publican diariamente y estarán disponibles en varios niveles: organización, cuenta, depósito y prefijo. En este menú desplegable, elijo el % de error PUT 503 concurrente para el MétricoÚltimos 30 días para el Rango de fechasy 10 para el N categorías principales.
La métrica de recuento de errores PUT 503 concurrentes rastrea el número de errores 503 generados por operaciones PUT simultáneas en el mismo objeto. Los errores de limitación pueden degradar el rendimiento de la aplicación. Para un solo escritor, modifique el comportamiento de reintento o utilice un nivel de almacenamiento de mayor rendimiento, como Amazon S3 Express One Zone, para mitigar los errores PUT 503 simultáneos. Para un escenario de varios escritores, utilice un mecanismo de consenso para evitar errores PUT 503 simultáneos o utilice un nivel de almacenamiento de mayor rendimiento, como Amazon S3 Express One Zone.
Análisis completos para todos los prefijos en sus depósitos de S3
S3 Storage Lens ahora admite análisis para todos los prefijos en sus depósitos de S3 a través de un nuevo Informe de métricas de prefijos ampliados. Esta capacidad elimina limitaciones anteriores que restringían el análisis a prefijos que cumplían con un umbral de tamaño del 1 % y una profundidad máxima de 10 niveles. Ahora puede realizar un seguimiento de hasta miles de millones de prefijos por depósito para realizar análisis en el nivel de prefijo más granular, independientemente del tamaño o la profundidad.
El informe de métricas de prefijos ampliados incluye todas las categorías de métricas de S3 Storage Lens existentes: uso de almacenamiento, métricas de actividad (solicitudes y bytes transferidos), métricas de protección de datos y métricas de código de estado detalladas.
Cómo empezar
Sigo los mismos pasos descritos en el como funciona sección para crear o actualizar el panel de Storage Lens. En el Paso 4 en la consola, donde selecciona las opciones de exportación, puede seleccionar el nuevo Informe de métricas de prefijos ampliados. A partir de entonces, puedo exportar el informe de métricas de prefijos ampliados en formato CSV o Parquet a cualquier depósito de uso general en mi cuenta para realizar consultas eficientes de mis datos de Storage Lens.
Es bueno saberlo
Esta mejora aborda escenarios en los que las organizaciones necesitan visibilidad granular en toda su estructura de prefijos. Por ejemplo, puede identificar prefijos con cargas de varias partes incompletas para reducir costos, realizar un seguimiento del cumplimiento en toda su estructura de prefijos para los requisitos de cifrado y replicación y detectar problemas de rendimiento en el nivel más granular.
Exportar métricas de S3 Storage Lens a tablas S3
Las métricas de S3 Storage Lens ahora se pueden exportar automáticamente a S3 Tables, una función totalmente administrada en AWS con soporte integrado para Apache Iceberg. Esta integración proporciona entrega automática diaria de métricas a tablas S3 administradas por AWS para consultas inmediatas sin necesidad de infraestructura de procesamiento adicional.
Cómo empezar
Empiezo siguiendo el proceso descrito en el Paso 5 en la consola, donde elijo el destino de exportación. Esta vez elijo Informe de métricas de prefijos ampliados. Además del cucharón de uso general, elijo cubo de mesa.
Las nuevas métricas de Storage Lens se exportan a nuevas tablas en un depósito administrado por AWS aws-s3.
selecciono el prefijos_expandidos_actividad_métricas tabla para ver las métricas de uso de API para informes de prefijo ampliados.
Puedo obtener una vista previa de la tabla en la consola de Amazon S3 o usar Amazon Athena para consultar la tabla.
Es bueno saberlo
La integración de S3 Tables con S3 Storage Lens simplifica el análisis de métricas utilizando herramientas SQL familiares y servicios de análisis de AWS como Amazon Athena. Amazon QuickSightAmazon EMR y Amazon Redshift, sin necesidad de una canalización de datos. Las métricas se organizan automáticamente para una consulta óptima, con opciones personalizadas de retención y cifrado que se adaptan a sus necesidades.
Esta integración permite el análisis entre cuentas y regiones, la creación de paneles personalizados y la correlación de datos con otros servicios de AWS. Por ejemplo, puede combinar métricas de Storage Lens con metadatos de S3 para analizar patrones de actividad a nivel de prefijo e identificar objetos en prefijos con datos fríos que son elegibles para la transición a niveles de almacenamiento de menor costo.
Para sus flujos de trabajo de IA agente, puede utilizar lenguaje natural para consultar métricas de S3 Storage Lens en S3 Tables con S3 Tables MCP Server. Los agentes pueden hacer preguntas como «¿qué categorías crecieron más el mes pasado?» o «muéstreme los costos de almacenamiento por clase de almacenamiento» y obtenga información instantánea a partir de sus datos de observabilidad.
Ahora disponible
Las tres mejoras están disponibles en todos Regiones de AWS donde se ofrece actualmente S3 Storage Lens (excepto las regiones de China y AWS GovCloud (EE. UU.)).
Estas características están incluidas en el nivel avanzado de Amazon S3 Storage Lens sin cargo adicional más allá del precio del nivel avanzado estándar. Para la exportación de Tablas S3, usted paga solo por el almacenamiento, el mantenimiento y las consultas de las Tablas S3. No hay ningún cargo adicional por la funcionalidad de exportación en sí.
Para obtener más información sobre las métricas de rendimiento de Amazon S3 Storage Lens, la compatibilidad con miles de millones de prefijos y la exportación a tablas de S3, consulte la guía del usuario de Amazon S3. Para obtener detalles sobre precios, visite la página de precios de Amazon S3.
