Investigadores universitarios que construyeron un sistema de escaneo CSAM instan a Apple a no usar la tecnología ‘peligrosa’

Respetados investigadores universitarios están haciendo sonar las alarmas sobre la tecnología detrás de los planes de Apple de escanear las bibliotecas de fotos de los usuarios de iPhone en busca de CSAM o material de abuso sexual infantil, calificando la tecnología de «peligrosa».

Jonanath Mayer, profesor asistente de ciencias de la computación y asuntos públicos en la Universidad de Princeton, así como Anunay Kulshrestha, investigador del Centro de Política de Tecnología de la Información de la Universidad de Princeton, ambos escribió un artículo de opinión por El Washington Post, describiendo sus experiencias con la tecnología de detección de imágenes de edificios.

Los investigadores comenzaron un proyecto hace dos años para identificar CSAM en servicios en línea cifrados de extremo a extremo. Los investigadores señalan que, dado su campo, «conocen el valor del cifrado de extremo a extremo, que protege los datos del acceso de terceros». Dicen que esa preocupación es lo que les horroriza de que CSAM «prolifere en plataformas cifradas».

Mayer y Kulshrestha dijeron que querían encontrar un término medio para la situación: construir un sistema que las plataformas en línea pudieran usar para encontrar CSAM y proteger el cifrado de extremo a extremo. Los investigadores señalan que los expertos en el campo dudaban de la perspectiva de tal sistema, pero lograron construirlo y en el proceso notaron un problema significativo.

Buscamos explorar un posible término medio, donde los servicios en línea pudieran identificar contenido dañino y al mismo tiempo preservar el cifrado de extremo a extremo. El concepto era sencillo: si alguien compartía material que coincidía con una base de datos de contenido dañino conocido, el servicio recibiría una alerta. Si una persona compartiera contenido inocente, el servicio no aprendería nada. Las personas no podían leer la base de datos ni saber si el contenido coincidía, ya que esa información podría revelar métodos de aplicación de la ley y ayudar a los delincuentes a evadir la detección.

Los observadores expertos argumentaron que un sistema como el nuestro distaba mucho de ser factible. Después de muchos comienzos en falso, construimos un prototipo funcional. Pero nos encontramos con un problema evidente.

Desde el anuncio de Apple de la función, la compañía ha sido bombardeada con preocupaciones de que el sistema detrás de la detección de CSAM podría usarse para detectar otras formas de fotos a pedido de gobiernos opresores. Apple ha rechazado enérgicamente tal posibilidad, diciendo que rechazará cualquier solicitud de este tipo de los gobiernos.

No obstante, las preocupaciones sobre las implicaciones futuras de la tecnología que se utiliza para la detección de CSAM están generalizadas. Mayer y Kulshrestha dijeron que sus preocupaciones sobre cómo los gobiernos podrían usar el sistema para detectar contenido que no sea CSAM los tenía «perturbados».

Un gobierno extranjero podría, por ejemplo, exigir un servicio a las personas que comparten un discurso político desfavorecido. Eso no es hipotético: WeChat, la popular aplicación de mensajería china, ya usa la coincidencia de contenido para identificar material disidente. India promulgó reglas este año que podrían requerir la preselección de contenido crítico con la política del gobierno. Rusia multó recientemente a Google, Facebook y Twitter por no retirar materiales de protesta a favor de la democracia.

Detectamos otras deficiencias. El proceso de comparación de contenido podría tener falsos positivos y los usuarios malintencionados podrían engañar al sistema para someter a usuarios inocentes a escrutinio.

Estábamos tan perturbados que dimos un paso que no habíamos visto antes en la literatura informática: advertimos contra el diseño de nuestro propio sistema, instando a que se realicen más investigaciones sobre cómo mitigar los graves inconvenientes …

Apple ha continuado abordando las preocupaciones de los usuarios sobre sus planes, publicando documentos adicionales y una página de preguntas frecuentes. Apple sigue creyendo que su sistema de detección CSAM, que se producirá en el dispositivo de un usuario, se alinea con sus valores de privacidad de larga data.