Nuevo: algoritmos de suma de comprobación adicionales para Amazon S3 | Servicios web de Amazon

Amazon Simple Storage Service (Amazon S3) está diseñado para proporcionar un 99,999999999 % (11 9s) de durabilidad para sus objetos y los metadatos asociados con sus objetos. Puede estar seguro de que S3 almacena exactamente lo que PONE y devuelve exactamente lo que está almacenado cuando OBTIENE. Para asegurarse de que el objeto se transmita de un lado a otro correctamente, S3 utiliza sumas de verificación, básicamente una especie de huella digital.

S3 PutObject función ya permite pasar el MD5 suma de verificación del objeto, y solo acepta la operación si el valor que proporciona coincide con el calculado por S3. Si bien esto permite que S3 detecte errores de transmisión de datos, significa que debe calcular la suma de verificación antes de llamar PutObject o después de llamar GetObject. Además, la computación de sumas de verificación para objetos grandes (de varios GB o incluso de varios TB) puede ser computacionalmente intensiva y puede generar cuellos de botella. De hecho, algunos grandes usuarios de S3 han creado flotas EC2 de propósito especial únicamente para calcular y validar sumas de verificación.

Nuevo soporte de suma de comprobación
Hoy me complace informarles sobre el nuevo soporte de S3 para cuatro algoritmos de suma de comprobación. Ahora es muy fácil para usted calcular y almacenar sumas de verificación para los datos almacenados en Amazon S3 y usar las sumas de verificación para verificar la integridad de sus solicitudes de carga y descarga. Puede usar esta nueva característica para implementar las mejores prácticas y controles de preservación digital que son específicos de su industria. En particular, puede especificar el uso de cualquiera de los cuatro algoritmos de suma de comprobación ampliamente utilizados (SHA-1, SHA-256, CRC-32y CRC-32C) cuando cargue cada uno de sus objetos en S3.

Estos son los aspectos principales de esta nueva característica:

Carga de objetos – Las versiones más recientes de los SDK de AWS calculan la suma de comprobación especificada como parte de la carga y la incluyen en un Tráiler HTTP al finalizar la carga. También tiene la opción de proporcionar una suma de comprobación precalculada. De cualquier manera, S3 verificará la suma de verificación y aceptará la operación si el valor de la solicitud coincide con el calculado por S3. En combinación con el uso de remolques HTTP, esta función puede acelerar en gran medida la verificación de integridad del lado del cliente.

Carga de objetos de varias partes – Los SDK de AWS ahora aprovechan el paralelismo del lado del cliente y calculan sumas de verificación para cada parte de una carga de varias partes. Las sumas de verificación de todas las partes se suman y esta suma de verificación de sumas de verificación se transmite a S3 cuando finaliza la carga.

Almacenamiento y persistencia de suma de comprobación – La suma de comprobación verificada, junto con el algoritmo especificado, se almacenan como parte de los metadatos del objeto. Si se solicita el cifrado del lado del servidor con claves KMS para el objeto, la suma de comprobación se almacena en forma cifrada. El algoritmo y la suma de comprobación se adhieren al objeto a lo largo de su vida útil, incluso si cambia las clases de almacenamiento o es reemplazado por una versión más nueva. También se transfieren como parte de la replicación de S3.

Recuperación de suma de comprobación – El nuevo GetObjectAttributes La función devuelve la suma de comprobación para el objeto y (si corresponde) para cada parte.

Sumas de comprobación en acción
Puede acceder a esta función desde la interfaz de línea de comandos (CLI) de AWS, los SDK de AWS o la consola de S3. En la consola, habilito el C adicionalhecksums opción cuando me preparo para cargar un objeto:

Entonces elijo un función de suma de comprobación:

Si ya calculé la suma de verificación, puedo ingresarla; de lo contrario, la consola la calculará.

Una vez completada la carga, puedo ver las propiedades del objeto para ver la suma de verificación:

La función de suma de comprobación para cada objeto también se incluye en el Informe de inventario de S3.

Desde mi propio código, el SDK puede calcular la suma de verificación por mí:

with open(file_path, 'rb') as file:
    r = s3.put_object(
        Bucket=bucket,
        Key=key,
        Body=file,
        ChecksumAlgorithm='sha1'
    )

O puedo calcular yo mismo la suma de comprobación y pasársela a put_object:

with open(file_path, 'rb') as file:
    r = s3.put_object(
        Bucket=bucket,
        Key=key,
        Body=file,
        ChecksumSHA1='fUM9R+mPkIokxBJK7zU5QfeAHSy='
    )

Cuando recupero el objeto, especifico el modo de suma de comprobación para indicar que quiero que se valide el objeto devuelto:

r = s3.get_object(Bucket=bucket, Key=key, ChecksumMode="ENABLED")

La validación real ocurre cuando leo el objeto de r['Body']y se generará una excepción si hay una discrepancia.

Ver la demostración
Aquí hay una demostración (mostrada por primera vez en re:Invent 2021) de esta nueva función en acción:

Disponible ahora
Las cuatro sumas de verificación adicionales ahora están disponibles en todas las regiones comerciales de AWS y puede comenzar a usarlas hoy sin cargo adicional.

— jeff;