Revolucionando el acceso a los datos a través de una nueva herramienta de software: Tiled

Cada vez que los científicos estudian un nuevo material para baterías futuras o investigan enfermedades para desarrollar nuevos fármacos, deben atravesar un océano de datos. Hoy en día, todo un ecosistema de herramientas científicas crea una gran variedad de datos para explorar. Esta exploración ahora será mucho más fácil gracias a los científicos del National Synchrotron Light Source II (NSLS-II), ubicado en el Laboratorio Nacional Brookhaven del Departamento de Energía de EE. UU. (DOE). Su herramienta de software recién lanzada, llamada Azulejos: Permite a los investigadores ver, dividir y estudiar sus datos de manera más conveniente que nunca. Esta nueva herramienta de acceso a datos hace que encontrar y analizar la pieza correcta de datos sea un paseo por el parque en comparación con los métodos anteriores, allanando el camino para el próximo avance científico.

Como una de las 28 instalaciones para usuarios de la Oficina de Ciencias del DOE en todo el país, NSLS-II da la bienvenida a casi 2,000 científicos cada año para usar su luz ultrabrillante, abordando los mayores desafíos en materiales y ciencias de la vida. Estos investigadores visitantes vienen de todo el mundo para colaborar con expertos y utilizar las herramientas de investigación únicas en su tipo en NSLS-II. Sacan sus muestras, que van desde rocas antiguas hasta materiales cuánticos novedosos, con rayos X intensos y captan señales salientes utilizando detectores avanzados. A su vez, estos detectores escupen flujos de datos a la espera de ser analizados por los científicos.

«Trabajar con datos es una parte central de toda investigación y, sin embargo, un desafío en sí mismo. Viene en una multitud de formatos, en diferentes tamaños y formas, y no todos los elementos son útiles para los investigadores. Por eso, desarrollar una herramienta de software que hace que acceder, ver y clasificar los datos sea tan importante «, dijo Dan Allan, científico computacional de NSLS-II.

Tiled es un servicio de acceso a datos para portales con reconocimiento de datos y herramientas de ciencia de datos. Esto significa que Tiled se asienta sobre bases de datos y sistemas de archivos para que los científicos puedan acceder a sus datos a través de, por ejemplo, un navegador web o un software de análisis de datos. Si bien el programa Data Science and Systems Integration (DSSI) se implementó Tiled en todas las estaciones experimentales en NSLS-II, el servicio, al igual que su proyecto primo Bluesky (un software de adquisición de datos también desarrollado en NSLS-II), se puede utilizar en cualquier laboratorio de investigación en todo el mundo. Esto es posible porque Tiled se publica bajo una popular licencia de software de código abierto.

«Aunque desarrollamos Tiled en el lenguaje de programación Python y, por lo tanto, se integra naturalmente con las bibliotecas de ciencia de datos basadas en Python, nada sobre el servicio es específico de Python», dijo Stuart Campbell, científico jefe de datos de NSLS-II. «El cliente utiliza una API, o interfaz de programación de aplicaciones, para conectar las aplicaciones del usuario con el servidor. Una API es básicamente un conjunto de reglas o un contrato que define cómo se comunican las distintas piezas de software entre sí. Lo bueno de este enfoque es que una vez que se definen estas reglas e interfaces, proporciona a los usuarios y desarrolladores la estructura dentro de la cual pueden construir algunas herramientas excelentes y expandir la funcionalidad más allá de lo que habíamos imaginado originalmente «.

La flexibilidad de Tiled permite que el servicio se integre sin problemas con cualquier base de datos o colección de archivos para que pueda usarse en una amplia gama de experimentos con técnicas y datos muy diferentes.

Satisfacer sus necesidades de datos

«En el pasado, solía ayudar a mi asesor de doctorado a descargar datos de instalaciones como NSLS-II. Era tedioso porque necesitábamos descargar todos nuestros datos a la vez antes de poder clasificar las partes útiles. Además, los datos estaban en el formato del detector, independientemente de cómo quisiéramos analizarlos. Esto significaba que después de una larga descarga, teníamos que convertir los datos antes de que pudiéramos siquiera mirarlos «, dijo Allan.

Campbell agregó: «Si Dan hubiera Tiled en ese entonces, podría haber examinado fácilmente los datos en un navegador web o una aplicación de análisis de datos, clasificar las partes buenas y compartir solo las de interés con su asesor a través de un solo enlace».

Al usar Tiled, los científicos pueden obtener una vista previa de sus datos y acceder solo a las partes que desean sin una gran descarga. También pueden elegir el formato de sus datos descargados o introducirlos directamente en el software de análisis. Al mismo tiempo, Tiled ofrece control de acceso basado en estándares de seguridad web para que todos los datos estén seguros. Debido a que configurar una nueva cuenta puede ser una barrera, Tiled se puede configurar para permitir el inicio de sesión de servicios de terceros, como Google y ORCID.

«Las capacidades remotas son más importantes que nunca», dijo Dylan McReynolds, ingeniero de sistemas informáticos en Advanced Light Source, una instalación para usuarios de la Oficina de Ciencias del DOE ubicada en el Laboratorio Nacional Lawrence Berkeley, que ha colaborado en Tiled. «Construir sobre protocolos web estándar y abiertos mejora nuestras capacidades científicas al facilitar el traslado de datos a donde se necesitan».

El nuevo software incluso habilita una forma de «modo avión» en el que los datos se almacenan en la computadora portátil del usuario para que los investigadores puedan continuar trabajando en ellos sin conexión o con una conexión lenta a Internet.

«Nuestro objetivo con Tiled es simplificar el acceso a los datos para todos. Si no necesita preocuparse por convertir formatos de datos a otros formatos o seleccionar información de los nombres de archivos, puede pensar en las partes más importantes, como encontrar la respuesta a sus preguntas de investigación «, dijo Thomas Caswell, científico computacional de NSLS-II.

Simplificar y estandarizar el acceso a los datos es fundamental tanto para optimizar los flujos de trabajo existentes como para permitir futuros flujos de trabajo centrados en el aprendizaje automático, la inteligencia artificial y otros análisis avanzados. Estas tecnologías emergentes se basan fundamentalmente en el acceso sin fricciones a los datos, independientemente de cómo se recopilaron o almacenaron, para desbloquear todo su potencial.

Tiled: encaja en cualquier rompecabezas de investigación

Los primeros usuarios de Tiled ya han creado algunas herramientas interesantes y sofisticadas para impulsar su investigación.

«Tiled ofrece una forma completamente nueva de acceder a los datos que simplificará y agilizará las canalizaciones de procesamiento y análisis para experimentos. ¡No más descargas torpes o perder tiempo importando datos de una docena de formatos para analizar un experimento!» dijo Denis Leschev, físico asistente en NSLS-II, quien probó Tiled. «Además, Tiled permitirá una forma más sencilla de compartir los datos, allanando el camino para una ciencia más abierta y transparente en el futuro».

El nuevo software no solo está disponible para los usuarios de NSLS-II: el equipo diseñó el software para que se adapte a cualquier fuente de datos. Se puede implementar a gran escala para instalaciones como NSLS-II, pero puede funcionar igual de bien en la computadora portátil de un estudiante o en la estación de trabajo de un grupo de investigación. Otros laboratorios e instituciones ya tienen la oportunidad de adaptar este software a sus propias necesidades.

Peter Beaucage, científico del personal del Instituto Nacional de Estándares y Tecnología (NIST), que es uno de los primeros usuarios de Tiled, lo ha integrado con su propio programa de análisis de datos científicos, PyHyperScattering. Deja que Tiled maneje la transferencia de datos y los detalles de seguridad, basándose en ello para proporcionar a sus usuarios la interfaz específica que necesitan para su trabajo.

«El volumen de datos de sincrotrón necesarios para un análisis típico se ha expandido drásticamente en la última década, escalando rápidamente más allá de las capacidades de las plataformas de transferencia de datos existentes. Las soluciones en mosaico y similares prometen brindar a los usuarios un acceso sin problemas a los datos correctos en el momento correcto y acelerar descubrimiento basado en la ciencia de los rayos X «, dijo Beaucage.

Más allá de Beaucage, otros usuarios de Tiled también construyeron canalizaciones de análisis de datos, moviendo datos de experimentos en vivo en NSLS-II a clústeres remotos y en software personalizado para visualizar e interrogar los datos. Cada paso fue apoyado por Tiled.

«En general, estamos increíblemente orgullosos de implementar Tiled. Es la culminación de nuestro trabajo durante los últimos seis años. Combina todas las características que queremos en las herramientas modernas de acceso a datos y va de la mano con Bluesky», dijo Campbell. .

El camino por delante

Tiled permitirá que crezca todo un jardín de herramientas útiles para una amplia gama de técnicas. El equipo ha puesto sus ojos en desarrollar varias aplicaciones web enfocadas en técnicas de investigación específicas. El equipo también quiere diseñar una interfaz de datos públicos para que cualquiera pueda explorar datos reales disponibles públicamente utilizando Tiled.

«Las subvenciones a menudo requieren acceso a datos abiertos, pero es difícil para los investigadores lograrlo de una manera que sea práctica y útil de inmediato. Tiled abre un camino a la puerta de los investigadores, trabajando con las herramientas que ya usan para ayudarlos a que los datos se puedan encontrar, accesible, interoperable y reutilizable, siguiendo los principios rectores de FAIR para la gestión y administración de datos científicos «, agregó Allan.

Al separar cómo se almacenan los datos de cómo se accede a ellos, Tiled desbloquea una forma de utilizar tecnologías de búsqueda y almacenamiento de vanguardia en el interior, al tiempo que presenta a los investigadores estándares establecidos y probados por el tiempo. Los encuentra donde están y los deja a cargo de cómo formatear y trabajar con sus datos.

«Tiled tiene como objetivo seguir otros esfuerzos de software NSLS-II para hacer crecer una comunidad amigable de colaboradores y usuarios. Buscamos activamente la colaboración con instalaciones e investigadores de todo el mundo, ya sea en la industria, la academia o el gobierno, que tienen desafíos similares, y nosotros estamos emocionados de ver lo que podemos construir juntos en esta plataforma «, dijo Allan.