El software está siendo construido cada vez más por IA, por lo que es vital saber si se puede confiar en

El software es ubicuo, alimentando casi todos los aspectos de nuestras vidas. Los sistemas computarizados en su automóvil solo incorporan Decenas de millones de líneas de código. La creciente transformación digital de nuestra sociedad significa que es probable que la demanda de más y mejor software continúe en el futuro.

El dilema es que no hay suficientes programadores humanos para construir todo este software. Esto significa que cada vez más del software que usa todos los días se construye con la ayuda de la inteligencia artificial (IA).

Los desarrolladores de software ya están muy familiarizados con herramientas como Copiloto de Githubuna especie de chatgpt para programadores. Funciona algo como una herramienta inteligente de autocompletado para aumentar la productividad de los programadores humanos.

Pero ahora estamos presenciando una revolución más radical, donde AI «Agentes» están listos para llevar a cabo muchos tipos de tareas de desarrollo en nombre de los programadores humanos. Los agentes son programas que usan IA para realizar tareas y logran objetivos específicos para un usuario humano. Los agentes de IA pueden aprender y tomar decisiones con algún nivel de autonomía, aunque todavía están bajo supervisión humana, por ahora.

Predecimos que en un futuro cercano, muchas aplicaciones de software estarán completamente construidas por agentes de IA. Sistemas «agentes» son comunidades de agentes de IA que cooperan juntos, cada una especializada en resolver un tipo específico de tarea. Con un sistema de agente, puede generar una aplicación de software a partir de una descripción simple en inglés de lo que desea que la aplicación haga.

Esto tiene potenciales impactos positivos. Los sistemas de agente podrían capacitar a los usuarios sin habilidades de programación de software para construir o adaptar software a sus necesidades. También hay posibles consecuencias negativas. Los agentes están lejos de ser perfectos y pueden generar fácilmente un código que es vulnerable a los ataques, no es eficiente o está sesgado contra ciertas comunidades.

Por ejemplo, un software de reclutamiento de construcción de agentes podría favorecer a las candidatas masculinas a las mujeres debido a los prejuicios en los datos utilizados para entrenar o mejorar el software. Por lo tanto, necesitamos establecer mecanismos para minimizar dichos riesgos, según lo requerido por las regulaciones de IA, como La Ley AI de la UE.

Los investigadores están abordando este desafío primero probando intensamente el LLMS (modelos de idiomas grandes) que están en el núcleo de cualquier agente. Un LLM es un sistema de IA capacitado en grandes cantidades de datos. Los agentes confían en su LLM interna para predecir y generar la mejor respuesta a una solicitud de usuario.

Al evaluar todos los principales LLM con una serie de preocupaciones, como precisión, vulnerabilidades de seguridad y sesgos, los desarrolladores de software pueden elegir el mejor LLM para un agente de IA. Esto dependería de las tareas específicas en las que el agente estaría involucrado.

Esto ayuda a garantizar una cierta cantidad de comportamiento ético en los agentes. Pero, ¿cómo podemos estar seguros de que entienden y siguen nuestras instrucciones? Nuestra solución es comenzar desde los planos (los diseños) del software a construir.

En términos generales, es posible comprender los planos de una casa, incluso si no eres un arquitecto. Del mismo modo, si hacemos que un plan para el software sea lo más fácil de entender posible, los usuarios sin habilidades avanzadas de desarrollo de software deberían poder comprender los conceptos y cómo hacer cambios.

De la descripción inicial del usuario, el agente o los agentes de IA propondrían un plan detallado de una solución potencial y lo explicarían al usuario en inglés simple. El usuario podría validarlo o solicitar mejoras. Solo después de la validación final, la aplicación de software se generaría automáticamente a partir del plan.

Esta forma de construir software se conoce como desarrollo de bajo código o sin código, ya que la mayor parte del código (todo para algunas aplicaciones) genera la computadora a partir de los planos, en lugar de ser escritos a mano por un humano desde cero. Nuestro plataforma de besser de código abierto Le ayuda a construir aplicaciones de esta manera.

Como el autor de la ciencia ficción Arthur C Clarke una vez observado: «Cualquier tecnología suficientemente avanzada es indistinguible de la magia». Y muy pronto, esta magia será parte de nuestra vida cotidiana. Solo debemos tener cuidado de que la magia no se convierta en brujería con el potencial de interrumpir, en lugar de mejorar.

Nosotros, y muchos otros investigadores, estamos trabajando para poner barandillas (mecanismos para prevenir daños potenciales) sobre el comportamiento de los agentes de IA para mantenerlos bajo control. Esto ayudaría a transformar a todos los ciudadanos en un desarrollador capaz con el poder de construir autónomos de forma autónoma las soluciones de software ideales para sus empresas u otros aspectos de sus vidas.

Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.