Un modelo para la extracción automática de contenidos de webs y apps

Los sistemas de gestión de contenido o CMS son la herramienta más popular para crear contenido en Internet. En los últimos años, han evolucionado hasta convertirse en la columna vertebral de un ecosistema cada vez más complejo de sitios web, aplicaciones móviles y plataformas. Con el fin de simplificar los procesos, un equipo de investigadores del Instituto Interdisciplinario de Internet (IN3) de la Universitat Oberta de Catalunya (UOC) ha desarrollado un modelo de código abierto para automatizar la extracción de contenido de los CMS. Su investigación asociada se publica en Desafíos de investigación en ciencias de la información.

El modelo de código abierto es un prototipo científico completamente funcional que permite extraer la estructura de datos y bibliotecas de cada CMS y crear un software que actúa como intermediario entre el contenido y el llamado front-end (el final). aplicación utilizada por el usuario). Todo este proceso se realiza de forma automática, por lo que es una solución libre de errores y escalable, ya que se puede repetir varias veces sin incrementar su coste.

La importancia de los CMS en el mundo online

Los sistemas de gestión de contenido (CMS) están detrás de más del 60 % de las páginas actualmente disponibles en línea. Sistemas como WordPress, Joomla y Drupal se han vuelto populares principalmente porque brindan una experiencia de usuario simple, lo que ha permitido que todo tipo de usuarios no técnicos se conviertan en parte de la cadena de creación de contenido en línea.

“Durante los últimos cuatro o cinco años, estos sistemas han estado proporcionando información no solo a los navegadores, sino también a las aplicaciones móviles. Los CMS tienen interfaces de programación de aplicaciones (API), con las que las aplicaciones móviles se comunican para extraer contenido”, explica Joan Giner Miguélez, estudiante del programa de doctorado en Redes y Tecnologías de la Información con el grupo del Laboratorio de Investigación de Sistemas, Software y Modelos (SOM Research Lab) y autor principal del estudio que describe el nuevo modelo. “Estos sistemas, que se conocen como headless CMS, permiten que los contenidos, creados de forma sencilla, sean consumidos posteriormente en distintas plataformas”.

Los CMS se han convertido, por tanto, en un gran contenedor de contenidos y datos utilizados por cada aplicación o plataforma. Esto ha simplificado muchos procesos pero también ha agregado complejidades en términos de desarrollo que son particularmente evidentes para organizaciones que manejan un alto volumen de contenido y plataformas. Cada vez es más habitual que la creación de una nueva aplicación móvil suponga un trabajo de desarrollo complejo, y estas tareas se simplifican con el modelo diseñado por los investigadores del IN3.

«Imagínese una gran empresa de contenido que administra más de mil sitios web y aplicaciones y quiere crear una nueva aplicación móvil que muestre productos de cada uno de esos sitios web. Si quieren desarrollar los conectores entre cada sitio web y la aplicación, el trabajo sería inmenso. y requiere muchos recursos. No es escalable”, añadió Joan Giner. “Si las API ya están en un formato estándar, ¿por qué no podemos hacer también un extractor de contenido que lea y comprenda las API, las represente de forma estándar y genere el conector para enviar la información a la nueva aplicación móvil automáticamente? «

Automatización de la extracción de contenido de los CMS

El modelo desarrollado por Giner —junto con sus socios de investigación Abel Gómez y Jordi Cabot, investigador ICREA y líder del SOM Research Lab— simplifica enormemente el proceso de desarrollo de una nueva aplicación y, a su vez, supone un importante ahorro de tiempo y recursos. El proceso, que se ha desarrollado gracias a la financiación de los proyectos europeos AIDOaRT y TRANSACT, tiene como objetivo extraer y representar el modelo CMS de forma clara y automática para facilitar su uso como fuente de información. Además, la propuesta tecnológica de los investigadores del IN3 pretende generar el código que hará de nexo entre el CMS y el desarrollo de nuevas aplicaciones.

Para lograr esto, el primer paso es darle a la herramienta la dirección y la información de inicio de sesión para el CMS. Una vez iniciada la sesión, lee la API, la comprende y utiliza un proceso de ingeniería inversa para representar la estructura y las bibliotecas de contenido del CMS de forma estándar. En base a esto, genera automáticamente el código conector a través del cual se comunicarán el CMS y la nueva aplicación móvil que se está desarrollando.

“Es una forma de estandarizar el proceso entre el CMS y la aplicación final”, destaca Joan Giner. «Su mayor ventaja es, de hecho, la propia estandarización. Estamos hablando de un proceso que se repite con frecuencia en las organizaciones que gestionan contenidos; un proceso que, cada vez que se realiza, implica la creación de un equipo de desarrollo específico que requiere un gasto en una serie de recursos y que, además, pueden generar errores. A través de la automatización, todo se simplifica y se vuelve más escalable».

Por tanto, este modelo de automatización de extracciones de CMS se centra en la escalabilidad, ya que una vez creado el esquema y código del CMS, este puede ser reutilizado tantas veces como sea necesario e integrado en futuros proyectos de desarrollo sin coste adicional.

Los investigadores también señalan que se trata de un modelo automático que crea bibliotecas de contenido sin errores, mientras que, si el trabajo se hace de forma manual, los desarrolladores siempre pueden cometer un error en una línea de código.

«Los sistemas de gestión de contenidos son una fuente importante de contenidos en Internet. Estamos haciendo posible estandarizar el acceso a los CMS, tal como se estandarizó el acceso a las bases de datos en el pasado», concluye Joan Giner. «En el futuro, este modelo podría incluso usarse para convertir los CMS en una nueva fuente de datos para entrenar sistemas de inteligencia artificial».

Proporcionado por la Universitat Oberta de Catalunya