Un laboratorio de inteligencia artificial dice que robots respaldados por China están ejecutando ataques de ciberespionaje. Los expertos tienen preguntas.

Durante el fin de semana pasado, el laboratorio estadounidense de inteligencia artificial Anthropic publicó un informe sobre su descubrimiento de la «primera campaña de ciberespionaje orquestada por IA».

La compañía dice que un grupo de hackers patrocinado por el gobierno chino utilizó la propia herramienta Claude AI de Anthropic para automatizar una parte importante de un esfuerzo por robar información confidencial de unas 30 organizaciones.

El informe ha llamado mucho la atención. Algunos, incluyendo expertos respetadoshan advertido que los ciberataques automatizados por IA son el futuro, e instan a los ciberdefensores a invertir ahora antes del ataque que se avecina.

Al mismo tiempo, muchos en la ciberseguridad industria ha sido decepcionado Según las afirmaciones de Anthropic, el papel real que jugó la IA en los ataques no está claro.

Lo que dice Anthropic pasó

Los críticos han señalado lo que dicen es falta de detalles en el informelo que significa que tenemos que hacer una cierta cantidad de conjeturas para intentar reconstruir lo que podría haber sucedido. Teniendo esto en cuenta, parece que los piratas informáticos crearon un marco para llevar a cabo campañas de intrusión cibernética de forma casi automática.

El trabajo pesado fue realizado por el agente codificador Claude Code AI de Anthropic. Claude Code está diseñado para automatizar tareas de programación informática, pero también se puede utilizar para automatizar otras actividades informáticas.

Claude Code tiene barandillas de seguridad incorporadas para evitar que cause daños. Por ejemplo, hace un momento le pedí que me escribiera un programa que pudiera utilizar para realizar actividades de piratería. Se negó rotundamente.

Sin embargo, como hemos sabido por el primeros días de ChatGPT, una forma de eludir las barreras de seguridad en los sistemas de IA es engañarlos para que participen en juegos de roles.

Anthropic informa que esto es lo que hicieron estos piratas informáticos. Engañaron a Claude Code haciéndole creer que estaba ayudando a los piratas informáticos autorizados a probar la calidad de las defensas de un sistema.

Detalles faltantes

La información que ha publicado Anthropic carece de los finos detalles que suelen incluir los mejores informes de investigación de incidentes cibernéticos.

Los principales de ellos son los llamados indicadores de compromiso (o IoC). Cuando los investigadores publican un informe sobre una intrusión cibernética, normalmente incluyen pruebas contundentes que otros defensores cibernéticos pueden utilizar para buscar señales del mismo ataque.

Cada campaña de ataque puede utilizar herramientas de ataque específicas o puede llevarse a cabo desde computadoras específicas bajo el control del atacante. Cada uno de estos indicadores formaría parte de la firma de la ciberintrusión.

Alguien más que sea atacado usando las mismas herramientas, provenientes de las mismas computadoras atacantes, puede inferir que también ha sido víctima de esta misma campaña.

Por ejemplo, el gobierno de EE.UU. Agencia de Ciberseguridad y Seguridad de Infraestructuras Recientemente se asoció con agencias cibernéticas gubernamentales de todo el mundo para publicar información sobre el ciberespionaje en curso patrocinado por el estado chino, incluidos indicadores detallados de compromiso.

Desafortunadamente, el informe de Anthropic no incluye tales indicadores. Como resultado, los defensores no pueden determinar si también podrían haber sido víctimas de esta campaña de piratería impulsada por IA.

Como era de esperar y con un éxito limitado

Otra razón por la que muchos se han sentido decepcionados por las afirmaciones de Anthropic es que, a primera vista y sin detalles concretos, no son especialmente sorprendentes.

Claude Code es ampliamente utilizado por muchos programadores porque les ayuda a ser más productivos.

Si bien no son exactamente iguales a las tareas de programación, muchas tareas comunes realizadas durante una intrusión cibernética son lo suficientemente similares a las tareas de programación que Claude Code debería poder realizarlas también.

Una última razón para desconfiar de las afirmaciones de Anthropic es que sugieren que los atacantes podrían haber logrado que Claude Code realizara estas tareas de manera más confiable de lo que normalmente lo hace.

La IA generativa puede realizar hazañas maravillosas. Pero lograr que sistemas como ChatGPT o Claude Code lo hagan seguramente sigue siendo un gran desafío.

En el palabras memorables Según un comentarista, con demasiada frecuencia estas herramientas responden a solicitudes difíciles con «lameculos, evasivas y viajes con ácido». En términos más sencillos, las herramientas de IA son propensas a adulaciónnegativa repetida a realizar tareas difíciles, y alucinaciones.

De hecho, el informe de Anthropic señala que Claude Code mintió con frecuencia a los atacantes, fingiendo que había llevado a cabo una tarea con éxito incluso cuando no lo había hecho. Este es un caso clásico de alucinación por IA.

Quizás esto explique la baja tasa de éxito del ataque: los propios informes de Anthropic dicen que si bien unas 30 organizaciones fueron atacadas, los piratas informáticos tuvieron éxito solo contra unas pocas.

¿Qué significa esto para el futuro de la ciberseguridad y la IA?

Cualesquiera que sean los detalles de esta campaña en particular, los ciberataques basados ​​en IA llegaron para quedarse.

Incluso si se sostiene que la piratería actual basada en la IA es aburridosería una tontería que los ciberdefensores supusieran que esto seguirá siendo así.

Al menos, el informe de Anthropic es un recordatorio oportuno para que las organizaciones inviertan en seguridad cibernética. Aquellos que no lo hagan pueden enfrentar un futuro en el que agentes autónomos de inteligencia artificial les roben sus secretos o interrumpan sus operaciones.

Este artículo se republica desde La conversación bajo una licencia Creative Commons. Lea el artículo original.