Presentamos agentes Express para Amazon MSK para ofrecer un alto rendimiento y un escalamiento más rápido para sus clústeres de Kafka | Servicios web de Amazon

Hoy anunciamos la disponibilidad general de los corredores Express, un nuevo tipo de corredor para Amazon Managed Streaming para Apache Kafka (Amazon MSK). Está diseñado para ofrecer hasta tres veces más rendimiento por corredor, escalar hasta 20 veces más rápido y reducir el tiempo de recuperación en un 90 por ciento en comparación con los corredores estándar que ejecutan Apache Kafka. Los brokers Express vienen preconfigurados con las mejores prácticas de Kafka de forma predeterminada, admiten las API de Kafka y brindan el mismo rendimiento de baja latencia que esperan los clientes de Amazon MSK, para que puedan continuar usando las aplicaciones cliente existentes sin ningún cambio.

Los brokers Express brindan elasticidad mejorada de computación y almacenamiento para aplicaciones Kafka cuando utilizan clústeres aprovisionados por Amazon MSK. Amazon MSK es un servicio de AWS totalmente administrado que le facilita la creación y ejecución de aplicaciones escalables y de alta disponibilidad basadas en Apache Kafka.

Profundicemos en algunas de las características clave que tienen los corredores Express y los beneficios que brindan:

• Operaciones más sencillas con gestión de almacenamiento manos libres – Los brokers Express ofrecen almacenamiento ilimitado sin aprovisionamiento previo, lo que elimina los cuellos de botella relacionados con el disco. El tamaño del clúster es más simple y solo requiere el rendimiento de entrada y salida dividido por el rendimiento recomendado por corredor. Esto elimina la necesidad de monitorear y escalar proactivamente la capacidad del disco, simplificando la administración del clúster y mejorando la resiliencia al eliminar una posible fuente de fallas.
• Menos corredores con un rendimiento de hasta tres veces por corredor – Un mayor rendimiento por corredor permite clústeres más pequeños para la misma carga de trabajo. El rendimiento de los corredores estándar debe tener en cuenta el tráfico de clientes y las operaciones en segundo plano, con m7g.16xl Los corredores estándar manejan de forma segura un ingreso de 154 MBps. Los corredores Express utilizan configuraciones obstinadas y aislamiento de recursos, lo que permite m7g.16xl dimensione las instancias para administrar de forma segura un ingreso de hasta 500 MBps sin comprometer el rendimiento o la disponibilidad durante los eventos del clúster.
• Mayor utilización con escalamiento 20 veces más rápido – Los brokers Express reducen el movimiento de datos durante el escalado, lo que los hace hasta 20 veces más rápidos que los brokers Standard. Esto permite un cambio de tamaño del clúster más rápido y confiable. Puede monitorear la capacidad de rendimiento de ingreso de cada corredor y agregar corredores en cuestión de minutos, eliminando la necesidad de un aprovisionamiento excesivo en previsión de picos de tráfico.
• Mayor resiliencia con una recuperación un 90 por ciento más rápida – Los brokers Express están diseñados para aplicaciones de misión crítica que requieren alta resiliencia. Vienen preconfigurados con valores predeterminados de mejores prácticas, incluida la replicación de 3 vías (RF=3), que reduce las fallas debidas a una mala configuración. Los brokers Express también se recuperan un 90 por ciento más rápido de fallas transitorias en comparación con los brokers Apache Kafka estándar. El reequilibrio y la recuperación de los brokers Express utilizan recursos mínimos del clúster, lo que simplifica la planificación de la capacidad. Esto elimina el riesgo de una mayor utilización de recursos y la necesidad de un monitoreo continuo al dimensionar correctamente los clústeres.

Tiene opciones de elección en Amazon MSK según su carga de trabajo y preferencia:

	MSK aprovisionado		MSK sin servidor
	Corredores estándar	Corredores expresos
Rango de configuración	Más flexible	Flexible	Menos flexible
Reequilibrio del clúster	Gestionado por el cliente	Gestionado por el cliente pero hasta 20 veces más rápido	MSK gestionado
Gestión de capacidad	Sí	Sí (solo cálculo)	No
Gestión de almacenamiento	Sí	No	No

Los brokers Express reducen los costos, brindan mayor resiliencia y menores gastos operativos, lo que los convierte en la mejor opción para todas las cargas de trabajo de Kafka. Si prefiere utilizar Kafka sin administrar ningún aspecto de su capacidad, su configuración o su escala, puede elegir Amazon MSK Serverless. Esto proporciona una experiencia Apache Kafka completamente abstracta que elimina la necesidad de administración de infraestructura, escala automáticamente y le cobra según un modelo de consumo de pago por uso que no requiere que optimice la utilización de recursos.

Introducción a los corredores Express en Amazon MSK
Para comenzar con los brokers Express, puede utilizar la hoja de cálculo de tamaños y precios que proporciona Amazon MSK. Esta hoja de trabajo le ayuda a estimar el tamaño del clúster que necesitará para adaptarse a su carga de trabajo y también le brinda una estimación aproximada del costo mensual total en el que incurrirá.

Los requisitos de rendimiento de su carga de trabajo son el factor principal en el tamaño de su clúster. También debe considerar otros factores, como el número de particiones y conexiones, para determinar el tamaño y la cantidad de intermediarios que necesitará para su clúster. Por ejemplo, si su aplicación de transmisión necesita 30 MBps de capacidad de entrada de datos (escritura) y 80 MBps de salida de datos (lectura), puede usar tres express.m7g.large brokers para satisfacer sus necesidades de rendimiento (suponiendo que el recuento de particiones para su carga de trabajo esté dentro del número máximo de particiones que Amazon MSK recomienda para una m7g.large instancia).

La siguiente tabla muestra los recuentos máximos recomendados de entrada, salida y partición por tamaño de instancia para operaciones sostenibles y seguras. Puede obtener más información sobre estas recomendaciones en la sección Mejores prácticas de la Guía para desarrolladores de Amazon MSK.

Tamaño de instancia	Ingreso (MBps)	Salida (MBps)
express.m7g.large	15.6	31.2
express.m7g.4xlarge	124,9	249,8
express.m7g.16xlarge	500.0	1000.0

Una vez que haya decidido la cantidad y el tamaño de los agentes Express que necesitará para su carga de trabajo, vaya a la Consola de administración de AWS o utilice el CreateCluster API para crear un clúster aprovisionado de Amazon MSK.

Cuando crea un nuevo clúster en la consola de Amazon MSK, en el Tipo de corredor opción, elegir Corredores expresos y luego seleccione la cantidad de capacidad informática que desea aprovisionar para el intermediario. Como puede ver en la captura de pantalla, puede utilizar la versión Apache Kafka 3.6.0 e instancias basadas en Graviton para los corredores Express. No es necesario aprovisionar previamente almacenamiento para los agentes Express.

También puede personalizar algunas de estas configuraciones para ajustar aún más el rendimiento de sus clústeres según sus propias preferencias. Para obtener más información, visite Configuraciones del agente Express en la guía para desarrolladores de Amazon MSK.

Para crear un clúster de MSK en la interfaz de línea de comandos de AWS (AWS CLI), utilice el create-cluster dominio.

aws kafka create-cluster \
    --cluster-name "channy-express-cluster" \
    --kafka-version "3.6.0" \
    --number-of-broker-nodes 3 \
    --broker-node-group-info file://brokernodegroupinfo.json

Un archivo JSON llamado brokernodegroupinfo.json especifica las tres subredes sobre las cuales desea que Amazon MSK distribuya los nodos del agente.

{
    "InstanceType": "express.m7g.large",
    "BrokerAZDistribution": "DEFAULT",
    "ClientSubnets": [
        "subnet-0123456789111abcd",
        "subnet-0123456789222abcd",
        "subnet-0123456789333abcd"
    ]
}

Una vez creado el clúster, puede utilizar la cadena de conexión de arranque para conectar sus clientes a los puntos finales del clúster.

Con los corredores Express, puede escalar verticalmente (cambiando el tamaño de la instancia) u horizontalmente (agregando corredores). El escalado vertical duplica el rendimiento sin necesidad de reasignar particiones. El escalado horizontal agrega corredores en conjuntos de tres y le permite crear más particiones, pero requiere la reasignación de particiones para que los nuevos corredores atiendan el tráfico.

Un beneficio importante de los corredores Express es que puede agregar corredores y reequilibrar particiones en cuestión de minutos. Por otro lado, reequilibrar particiones después de agregar corredores estándar puede llevar varias horas. El siguiente gráfico muestra el tiempo que llevó reequilibrar las particiones después de agregar 3 corredores Express a un clúster y reasignar 2000 particiones a cada uno de los nuevos corredores.

Como puede ver, tomó aproximadamente 10 minutos reasignar estas particiones y utilizar la capacidad adicional de los nuevos corredores. Cuando ejecutamos el mismo experimento en un clúster equivalente compuesto por corredores estándar, la reasignación de particiones tomó más de 24 horas.

Para obtener más información sobre la reasignación de partición, visite Ampliando su clúster en la documentación de Apache Kafka.

Cosas que debes saber
Aquí hay algunas cosas que debe saber sobre los corredores Express:

• Migración de datos – Puede migrar los datos de su clúster Kafka o MSK existente a un clúster compuesto por agentes Express utilizando Amazon MSK Replicator, que copia tanto los datos como los metadatos de su clúster a un nuevo clúster.
• Escucha – Puede monitorear su clúster compuesto por corredores Express en el clúster y a nivel de corredor con métricas de Amazon CloudWatch y habilitar el monitoreo abierto con Prometheus para exponer métricas utilizando JMX Exporter y Node Exporter.
• Seguridad – Al igual que con otros tipos de corredores, Amazon MSK se integra con AWS Key Management Service (AWS KMS) para ofrecer cifrado transparente del lado del servidor para el almacenamiento en corredores Express. Cuando crea un clúster de MSK con agentes Express, puede especificar la clave AWS KMS que desea que Amazon MSK utilice para cifrar sus datos en reposo. Si no especifica una clave KMS, Amazon MSK crea una clave administrada por AWS para usted y la utiliza en su nombre.

Ahora disponible
El tipo de corredor Express está disponible hoy en EE.UU. Este (Ohio), EE.UU. Este (Norte de Virginia), EE.UU. Oeste (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Europa (Frankfurt). ), y las regiones de Europa (Irlanda) y Europa (Estocolmo).

Usted paga una tarifa por hora por el uso de la instancia del corredor Apache Kafka (facturada con una resolución de un segundo) para los corredores Express, con tarifas variables según el tamaño de la instancia del corredor y los corredores activos en sus clústeres de MSK. También paga una tarifa por GB por los datos escritos en un corredor Express (facturados con resolución por byte). Para obtener más información, visite la página de precios de Amazon MSK.

Pruebe los agentes Express para Amazon MSK en la consola de Amazon MSK. Para obtener más información, visite la Guía para desarrolladores de Amazon MSK y envíe sus comentarios a AWS re: Publicación para Amazon MSK o a través de sus contactos habituales de soporte de AWS.

— chany