Nuevo código extrae imágenes de microscopía en artículos científicos

El aprendizaje profundo es una forma de inteligencia artificial que transforma la sociedad al enseñar a las computadoras a procesar información utilizando redes neuronales artificiales que imitan el cerebro humano. Ahora se utiliza en reconocimiento facial, vehículos autónomos e incluso en juegos complejos como Go. En general, el éxito del aprendizaje profundo ha dependido del uso de grandes conjuntos de datos de imágenes etiquetadas con fines de capacitación.

Una potencial mina de oro de imágenes etiquetadas reside en la literatura científica, con más de un millón de artículos publicados cada año. La mayoría tiene muchas figuras entretejidas en el texto. Hasta la fecha, estas cifras no han sido susceptibles de modelos de aprendizaje profundo. Esto se debe, en parte, a sus complejos diseños. Cada figura suele contener varias imágenes, gráficos e ilustraciones incrustados. También ha faltado un medio adecuado para buscar en la literatura imágenes que coincidan con un contenido específico.

Para abordar este desafío, investigadores del Laboratorio Nacional Argonne del Departamento de Energía de EE. UU. (DOE) y la Universidad Northwestern han creado EXSCLAIM! herramienta informática. El nombre significa extracción, separación y anotación de imágenes en lenguaje natural basada en subtítulos.

Los hallazgos son publicado en el diario Patrones.

«Las imágenes generadas por microscopios electrónicos hasta la milmillonésima de metro son uno de los tipos de cifras más importantes en la literatura sobre ciencia de materiales», dijo Maria Chan, científica del Centro de Materiales a Nanoescala de Argonne, una instalación para usuarios de la Oficina de Ciencias del DOE. «Estas imágenes son esenciales para la comprensión y el desarrollo de nuevos materiales en muchos campos diferentes. Nuestro objetivo con EXSCLAIM! es desbloquear el potencial sin explotar de estos datos de imágenes».

Lo que pone EXSCLAIM! Lo que destaca es su enfoque único en un enfoque de consulta a conjunto de datos, similar a cómo se usa un mensaje con herramientas de inteligencia artificial generativa como ChatGPT y DALL-E. De este modo, es capaz de extraer imágenes individuales con contenido muy específico de figuras, ya que clasifica el contenido de la imagen y reconoce el grado de ampliación. Luego puede crear etiquetas descriptivas para cada imagen. Se espera que esta innovadora herramienta de software se convierta en un activo valioso para los científicos que investigan nuevos materiales a nanoescala.

«Si bien los métodos existentes a menudo luchan con el problema del diseño compuesto, EXSCLAIM! emplea un nuevo enfoque para superarlo», dijo el autor principal Eric Schwenker, ex estudiante graduado de Argonne. «Nuestro software es eficaz para identificar límites nítidos de imágenes y destaca en la captura de disposiciones de imágenes irregulares».

¡EXCLAMA! ya ha demostrado su eficacia mediante la construcción de un conjunto de datos de microscopía electrónica autoetiquetado de más de 280.000 imágenes de nanoestructuras. Aunque inicialmente se desarrolló en torno a imágenes de microscopía de materiales, ¡EXSCLAIM! Es adaptable a cualquier campo científico que produzca grandes volúmenes de artículos con imágenes. Por tanto, el software promete revolucionar el uso de imágenes científicas publicadas en diversas disciplinas.

«Los investigadores ahora tienen una poderosa herramienta de extracción de imágenes para avanzar en su comprensión de la información visual compleja», dijo Chan.