Supervise eventos de datos en Amazon S3 Express One Zone con AWS CloudTrail | Amazon Web Services

En una publicación del blog de noticias de re:Invent 2023, le presentamos Amazon S3 Express One Zone, una clase de almacenamiento de zona de disponibilidad (AZ) única y de alto rendimiento diseñada específicamente para brindar acceso a datos consistente en milisegundos de un solo dígito para sus aplicaciones sensibles a la latencia y a los datos a los que accede con más frecuencia. Es ideal para aplicaciones exigentes y está diseñada para brindar un rendimiento hasta 10 veces mejor que S3 Standard. S3 Express One Zone utiliza depósitos de directorio de S3 para almacenar objetos en una única AZ.

A partir de hoy, S3 Express One Zone admite el registro de eventos de datos de AWS CloudTrail, lo que le permite monitorear todas las operaciones a nivel de objeto como PonerObjeto, Obtener objetoy Eliminar objeto, Además de acciones a nivel de depósito como CrearBucket y EliminarBucket que ya eran compatibles. Esto permite realizar auditorías para la gobernanza y el cumplimiento, y puede ayudarlo a aprovechar los costos de solicitudes 50 % más bajos de S3 Express One Zone en comparación con la clase de almacenamiento S3 Standard.

Con esta nueva capacidad, puede determinar rápidamente qué objetos de S3 Express One Zone se crearon, leyeron, actualizaron o eliminaron, e identificar la fuente de las llamadas a la API. Si detecta un acceso no autorizado a objetos de S3 Express One Zone, puede tomar medidas inmediatas para restringir el acceso. Además, puede utilizar la integración de CloudTrail con Amazon EventBridge para crear flujos de trabajo basados ​​en reglas que se activan mediante eventos de datos.

Uso del registro de eventos de datos de CloudTrail para Amazon S3 Express One Zone
Comienzo en la consola de Amazon S3. Siguiendo los pasos para crear un depósito de directorio, creo un depósito de S3 y elijo Directorio como el tipo de cubo y apne1-az4 como el Zona de disponibilidad. En Nombre baseYo entro s3express-one-zone-cloudtrail y se agrega automáticamente un sufijo que incluye el ID de la zona de disponibilidad para crear el nombre final. Finalmente, selecciono la casilla de verificación para confirmar que Los datos se almacenan en una única zona de disponibilidad y elige Crear un depósito.

Para habilitar el registro de eventos de datos para S3 Express One Zone, voy a la consola de CloudTrail. Ingreso el nombre y creo el registro de CloudTrail responsable de rastrear los eventos de mi depósito de directorio de S3.

En Paso 2: Seleccione los eventos de registro, Yo selecciono Eventos de datos con Los selectores de eventos avanzados están habilitados seleccionado.

Para Tipo de evento de datosYo elijo S3 expreso. Puedo elegir Registrar todos los eventos como el Plantilla de selector de registros para administrar eventos de datos para todos los grupos de directorios de S3.

Sin embargo, quiero que el almacén de datos de eventos registre eventos solo para mi depósito de directorio S3 s3express-one-zone-cloudtrail--apne1-az4--x-s3En este caso, elijo Costumbre como el Plantilla de selector de registros e indicar el ARN de mi contenedor de directorios. Obtenga más información en la documentación sobre el filtrado de eventos de datos mediante el uso de selectores de eventos avanzados.

Terminar con Paso 3: revisar y crear. Ahora, tienes habilitado el registro con CloudTrail.

Registro de eventos de datos de CloudTrail para S3 Express One Zone en acción:
Usando la consola S3, cargo y descargo un archivo a mi directorio S3.

Usando AWS CLI, envío Put_Object y Get_Object.

$ aws s3api put-object --bucket s3express-one-zone-cloudtrail--apne1-az4--x-s3 \
  --key cloudtrail_test  \ 
--body cloudtrail_test.txt

$ aws s3api get-object --bucket s3express-one-zone-cloudtrail--apne1-az4--x-s3 \ 
--key cloudtrail_test response.txt

CloudTrail publica archivos de registro en un depósito S3 en un archivo gzip y los organiza jerárquicamente según el nombre del depósito, el ID de cuenta, la región y la fecha. Con la CLI de AWS, enumero el depósito asociado con mi Trail y recupero los archivos de registro correspondientes a la fecha en la que realicé la prueba.

$ aws s3 ls s3://aws-cloudtrail-logs-MY-ACCOUNT-ID-3b49f368/AWSLogs/MY-ACCOUNT-ID/CloudTrail/ap-northeast-1/2024/07/01/

Obtengo los siguientes cuatro nombres de archivos, dos de las pruebas de la consola y dos de las pruebas de la CLI:

2024-07-05 20:44:16 317 MY-ACCOUNT-ID_CloudTrail_ap-northeast-1_20240705T2044Z_lzCPfDRSf9OdkdC1.json.gz
2024-07-05 20:47:36 387 MY-ACCOUNT-ID_CloudTrail_ap-northeast-1_20240705T2047Z_95RwiqAHCIrM9rcl.json.gz
2024-07-05 21:37:48 373 MY-ACCOUNT-ID_CloudTrail_ap-northeast-1_20240705T2137Z_Xk17zhf0cTY0N5bH.json.gz
2024-07-05 21:42:44 314 MY-ACCOUNT-ID_CloudTrail_ap-northeast-1_20240705T21415Z_dhyTsSb3ZeAhU6hR.json.gz

Busquemos el evento PutObject entre estos archivos. Cuando abro el primer archivo, puedo ver el PutObject tipo de evento. Si recuerdas, acabo de realizar dos cargas, una a través de la consola S3 en un navegador y otra usando la CLI. userAgent El atributo, el tipo de fuente que realizó la llamada a la API, hace referencia a un navegador, por lo que este evento hace referencia a mi carga mediante la consola S3. Obtenga más información sobre los eventos de CloudTrail en la documentación sobre cómo comprender los eventos de CloudTrail.

{...},
"eventTime": "2024-07-05T20:44:16Z",
"eventSource": "s3express.amazonaws.com",
"eventName": "PutObject",
"awsRegion": "ap-northeast-1",
"sourceIPAddress": "MY-IP",
"userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
"requestParameters": {
...
},
"responseElements": {...},
"additionalEventData": {...},
...
"resources": [
{
"type": "AWS::S3Express::Object",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3/cloudtrail_example.png"
},
{
"accountId": "MY-ACCOUNT-ID",
"type": "AWS::S3Express::DirectoryBucket",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3"
}
],
{...}

Ahora, cuando reviso el tercer archivo del evento correspondiente al PutObject comando enviado mediante AWS CLI, veo que hay una pequeña diferencia en el userAgent atributo. En este caso, se refiere a la CLI de AWS.

{...},
"eventTime": "2024-07-05T21:37:19Z",
"eventSource": "s3express.amazonaws.com",
"eventName": "PutObject",
"awsRegion": "ap-northeast-1",
"sourceIPAddress": "MY-IP",
"userAgent": "aws-cli/2.17.9 md/awscrt#0.20.11 ua/2.0 os/linux#5.10.218-208.862.amzn2.x86_64 md/arch#x86_64 lang/python#3.11.8 md/pyimpl#CPython cfg/retry-mode#standard md/installer#exe md/distrib#amzn.2 md/prompt#off md/command#s3api.put-object",
"requestParameters": {
...
},
"responseElements": {...},
"additionalEventData": {...},
...
"resources": [
{
"type": "AWS::S3Express::Object",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3/cloudtrail_example.png"
},
{
"accountId": "MY-ACCOUNT-ID",
"type": "AWS::S3Express::DirectoryBucket",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3"
}
],
{...}

Ahora, observemos el evento GetObject en el segundo archivo. Puedo ver que el tipo de evento es GetObject y que el userAgent se refiere a un navegador, por lo que este evento se refiere a mi descarga usando la consola S3.

{...},
"eventTime": "2024-07-05T20:47:41Z",
"eventSource": "s3express.amazonaws.com",
"eventName": "GetObject",
"awsRegion": "ap-northeast-1",
"sourceIPAddress": "MY-IP",
"userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
"requestParameters": {
...
},
"responseElements": {...},
"additionalEventData": {...},
...
"resources": [
{
"type": "AWS::S3Express::Object",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3/cloudtrail_example.png"
},
{
"accountId": "MY-ACCOUNT-ID",
"type": "AWS::S3Express::DirectoryBucket",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3"
}
],
{...}

Y finalmente, déjame mostrarte el evento en el cuarto archivo, con detalles de la GetObject comando que envié desde AWS CLI. Puedo ver que el eventName y userAgent Son como se esperaba.

{...},
"eventTime": "2024-07-05T21:42:04Z",
"eventSource": "s3express.amazonaws.com",
"eventName": "GetObject",
"awsRegion": "ap-northeast-1",
"sourceIPAddress": "MY-IP",
"userAgent": "aws-cli/2.17.9 md/awscrt#0.20.11 ua/2.0 os/linux#5.10.218-208.862.amzn2.x86_64 md/arch#x86_64 lang/python#3.11.8 md/pyimpl#CPython cfg/retry-mode#standard md/installer#exe md/distrib#amzn.2 md/prompt#off md/command#s3api.put-object",
"requestParameters": {
...
},
"responseElements": {...},
"additionalEventData": {...},
...
"resources": [
{
"type": "AWS::S3Express::Object",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3/cloudtrail_example.png"
},
{
"accountId": "MY-ACCOUNT-ID",
"type": "AWS::S3Express::DirectoryBucket",
"ARN": "arn:aws:s3express:ap-northeast-1:MY-ACCOUNT-ID:bucket/s3express-one-zone-cloudtrail--apne1-az4--x-s3"
}
],
{...}

Cosas que saber

Empezando – Puede habilitar el registro de eventos de datos de CloudTrail para S3 Express One Zone mediante la consola de CloudTrail, la CLI o los SDK.

Regiones – El registro de eventos de datos de CloudTrail está disponible en todas las regiones de AWS donde S3 Express One Zone está disponible actualmente.

Registro de actividad – Con el registro de eventos de datos de CloudTrail para S3 Express One Zone, puede registrar actividades a nivel de objeto, como PutObject, GetObject y DeleteObjectasí como la actividad a nivel de bucket, como CreateBucket y DeleteBucket.

Precios – Al igual que con las clases de almacenamiento de S3, paga por registrar eventos de datos de S3 Express One Zone en CloudTrail según la cantidad de eventos registrados y el período durante el cual conserva los registros. Para obtener más información, consulte la página de precios de AWS CloudTrail.

Puede habilitar el registro de eventos de datos de CloudTrail para S3 Express One Zone a fin de simplificar la gobernanza y el cumplimiento de su almacenamiento de alto rendimiento. Para obtener más información sobre esta nueva función, visite la Guía del usuario de S3.

– Elí.