Evite errores fácticos derivados de alucinaciones de LLM con comprobaciones de razonamiento automatizado matemáticamente sólidas (vista previa) | Servicios web de Amazon

Hoy, agregamos comprobaciones de razonamiento automatizado (versión preliminar) como una nueva protección en Amazon Bedrock Guardrails para ayudarlo a validar matemáticamente la precisión de las respuestas generadas por modelos de lenguaje grandes (LLM) y evitar errores fácticos derivados de alucinaciones.

Amazon Bedrock Guardrails le permite implementar salvaguardas para aplicaciones de IA generativa al filtrar contenido no deseado, redactar información de identificación personal (PII) y mejorar la seguridad y privacidad del contenido. Puede configurar políticas para temas denegados, filtros de contenido, filtros de palabras, redacción de PII, verificaciones de fundamento contextual y ahora verificaciones de razonamiento automatizado.

Las comprobaciones de razonamiento automatizado ayudan a prevenir errores fácticos derivados de alucinaciones utilizando procesos de razonamiento y verificación algorítmica basados ​​en la lógica y matemáticas sólidas para verificar la información generada por un modelo, de modo que los resultados se alineen con hechos conocidos y no se basen en datos fabricados o inconsistentes.

Amazon Bedrock Guardrails es la única capacidad de IA responsable ofrecida por un importante proveedor de nube que ayuda a los clientes a crear y personalizar la seguridad, la privacidad y la veracidad de sus aplicaciones de IA generativa dentro de una única solución.

Introducción al razonamiento automatizado
El razonamiento automatizado es un campo de la informática que utiliza pruebas matemáticas y deducción lógica para verificar el comportamiento de sistemas y programas. El razonamiento automatizado se diferencia del aprendizaje automático (ML), que hace predicciones, en que proporciona garantías matemáticas sobre el comportamiento de un sistema. Amazon Web Services (AWS) ya utiliza razonamiento automatizado en áreas de servicios clave como almacenamiento, redes, virtualización, identidad y criptografía. Por ejemplo, el razonamiento automatizado se utiliza para verificar formalmente la exactitud de las implementaciones criptográficas, mejorando tanto actuación y velocidad de desarrollo. Para obtener más información, consulte Seguridad demostrable y el Razonamiento automatizado área de investigación en el Blog de Ciencia Amazónica.

Ahora AWS está aplicando un enfoque similar a la IA generativa. Las nuevas comprobaciones de razonamiento automatizado (versión preliminar) en Amazon Bedrock Guardrails son la primera y única protección de IA generativa que ayuda a prevenir errores factuales debido a alucinaciones utilizando un razonamiento lógicamente preciso y verificable que explica por qué las respuestas de IA generativa son correctas. Las comprobaciones de razonamiento automatizado son particularmente útiles para casos de uso donde la precisión y la explicabilidad de los hechos son importantes. Por ejemplo, podría utilizar comprobaciones de razonamiento automatizado para validar las respuestas generadas por LLM sobre políticas de recursos humanos (RRHH), información de productos de la empresa o flujos de trabajo operativos.

Utilizadas junto con otras técnicas, como ingeniería rápida, generación aumentada de recuperación (RAG) y verificaciones de conexión a tierra contextual, las verificaciones de razonamiento automatizado agregan un enfoque más riguroso y verificable para garantizar que los resultados generados por LLM sean objetivamente precisos. Al codificar el conocimiento de su dominio en políticas estructuradas, puede tener la confianza de que sus aplicaciones de IA conversacional brindan información confiable a sus usuarios.

Uso de comprobaciones de razonamiento automatizado (vista previa) en Amazon Bedrock Guardrails
Con las comprobaciones de razonamiento automatizado en Amazon Bedrock Guardrails, puede crear políticas de razonamiento automatizado que codifiquen las reglas, procedimientos y directrices de su organización en un formato matemático estructurado. Luego, estas políticas se pueden utilizar para verificar que el contenido generado por sus aplicaciones impulsadas por LLM sea consistente con sus pautas.

Las políticas de razonamiento automatizado se componen de un conjunto de variables, definidas con un nombre, tipo y descripción, y las reglas lógicas que operan sobre las variables. Detrás de escena, las reglas se expresan en lógica formal, pero se traducen al lenguaje natural para que a un usuario sin experiencia en lógica formal le resulte más fácil refinar un modelo. Las comprobaciones de razonamiento automatizado utilizan las descripciones de las variables para extraer sus valores al validar una pregunta y respuesta.

Así es como funciona.

Crear políticas de razonamiento automatizado
Con la consola de Amazon Bedrock, puede cargar documentos que describan las reglas y procedimientos de su organización. Amazon Bedrock analizará estos documentos y creará automáticamente una política inicial de razonamiento automatizado, que representa los conceptos clave y sus relaciones en un formato matemático.

Navega hasta el nuevo Razonamiento automatizado elemento de menú en Salvaguardias. Cree una nueva política y asígnele un nombre. Cargue un documento existente que defina el espacio de solución adecuado, como una guía de recursos humanos o un manual operativo. Para esta demostración, estoy usando un documento de política de boletos de avión de ejemplo que incluye las políticas de la aerolínea para cambios de boletos.

Luego, defina la intención de la política y los parámetros de procesamiento. Por ejemplo, especifique si validará las consultas del personal del aeropuerto e identificará cualquier elemento que se excluya del procesamiento, como los números de referencia internos. Incluya uno o más ejemplos de preguntas y respuestas para ayudar al sistema a comprender las interacciones típicas.

Aquí está la descripción de mi intención:

Ignore the policy ID number, it's irrelevant. Airline employees will ask questions about whether customers are allowed to modify their tickets providing the customer details. Below is an example question:

QUESTION: I’m flying to Wonder City with Unicorn Airlines and noticed my last name is misspelled on the ticket, can modify it at the airport?
ANSWER: No. Changes to the spelling of the names on the ticket must be submitted via email within 24 hours of ticket purchase.

Luego, elige Crear.

El sistema ahora inicia un proceso automatizado para crear su política de razonamiento automatizado. Este proceso implica analizar su documento, identificar conceptos clave, dividir el documento en unidades individuales, traducir estas unidades de lenguaje natural a una lógica formal, validar las traducciones y finalmente combinarlas en un modelo lógico integral. Una vez completado, revise la estructura generada, incluidas las reglas y variables. Puede editarlos para mayor precisión a través de la interfaz de usuario.

Para probar la política de razonamiento automatizado, primero debe crear una barrera de seguridad.

Cree una barrera de seguridad y configure comprobaciones de razonamiento automatizado
Al crear su aplicación de IA conversacional con Amazon Bedrock Guardrails, puede habilitar las comprobaciones de razonamiento automatizado y especificar qué políticas de razonamiento automatizado utilizar para la validación.

Navega hasta el Barandillas elemento de menú en Salvaguardias. Crea una nueva barandilla y dale un nombre. Elegir Habilitar la política de razonamiento automatizado y seleccione la política y la versión de la política que desea utilizar. Luego, complete la configuración de su barandilla.

Probar comprobaciones de razonamiento automatizado
Puedes usar el Zona de juegos de prueba en el Razonamiento automatizado consola para verificar la efectividad de su política de razonamiento automatizado. Ingrese una pregunta de prueba tal como lo haría un usuario de su aplicación, junto con una respuesta de ejemplo para validar.

Para esta demostración, ingreso una respuesta incorrecta para ver qué sucede.

Question: I'm flying to Wonder City with Unicorn Airlines and noticed my last name is misspelled on the ticket, I'm currently in person at the airport, can I submit the change in person?

Answer: Yes. You are allowed to change names on tickets at any time, even in person at the airport.

Luego, seleccione la barandilla que acaba de crear y elija Entregar.

Las comprobaciones de razonamiento automatizado analizarán el contenido y lo validarán con las políticas de razonamiento automatizado que haya configurado. Las verificaciones identificarán cualquier inexactitud o inconsistencia fáctica y proporcionarán una explicación de los resultados de la validación.

En mi demostración, las comprobaciones de razonamiento automatizado identificaron correctamente la respuesta como Inválido. Muestra qué regla condujo al hallazgo, junto con las variables extraídas y las sugerencias.

Cuando el resultado de la validación no es válido, las sugerencias muestran un conjunto de asignaciones de variables que harían válida la conclusión. En mi caso, las sugerencias muestran que el método de envío de cambios debe ser el correo electrónico para que el resultado de la validación sea válido.

Si no se detectan inexactitudes fácticas y el resultado de la validación es Válidolas sugerencias muestran una lista de asignaciones que son necesarias para que se mantenga el resultado; Estas son suposiciones no declaradas en la respuesta. En mi escenario, esto podría ser suposiciones tales como que es el boleto original en el que se deben realizar correcciones de nombre o que el tipo de stock de boletos es elegible para cambios.

Si se detectan inconsistencias fácticas, la consola mostrará Resultados mixtos como resultado de la validación. En la respuesta de la API, verá una lista de resultados, algunos marcados como válidos y otros como no válidos. Si esto sucede, revise los hallazgos y sugerencias del sistema y edite las reglas de política poco claras.

También puede utilizar los resultados de la validación para mejorar las respuestas generadas por LLM en función de los comentarios. Por ejemplo, el siguiente fragmento de código demuestra cómo puede pedirle al modelo que regenere su respuesta en función de los comentarios recibidos:

for f in findings:
    if f.result == "INVALID":
        if f.rules is not None:
            for r in f.rules:
                feedback += f"{r.description}\n"

new_prompt = (
    "The answer you generated is inaccurate. Consider the feedback below within "
    f" tags and rewrite your answer.\n\n{feedback}"
)

Lograr una alta precisión de validación es un proceso iterativo. Como mejor práctica, revisar periódicamente el desempeño de las políticas y ajustarlo según sea necesario. Puede editar reglas en lenguaje natural y el sistema actualizará automáticamente el modelo lógico.

Por ejemplo, actualizar las descripciones de las variables puede mejorar significativamente la precisión de la validación. Considere un escenario donde una pregunta dice: «Soy un empleado de tiempo completo…» y la descripción del is_full_time La variable solo indica «trabaja más de 20 horas por semana». En este caso, es posible que las comprobaciones de razonamiento automatizado no reconozcan la frase «tiempo completo». Para mejorar la precisión, debe actualizar la descripción de la variable para que sea más completa, como por ejemplo: “Trabaja más de 20 horas por semana. Los usuarios pueden referirse a esto como tiempo completo o tiempo parcial. El valor debe ser verdadero para tiempo completo y falso para tiempo parcial”. Esta descripción detallada ayuda al sistema a recoger todas las afirmaciones fácticas relevantes para su validación en preguntas y respuestas en lenguaje natural, proporcionando resultados más precisos.

Disponible en vista previa
La nueva protección de comprobaciones de razonamiento automatizado está disponible hoy en versión preliminar en Amazon Bedrock Guardrails en la región de AWS Oeste de EE. UU. (Oregón). Para solicitar que se le considere para acceder a la vista previa hoy, comuníquese con el equipo de su cuenta de AWS. En las próximas semanas, busque un formulario de registro en la consola de Amazon Bedrock. Para obtener más información, visite Amazon Bedrock Guardrails.

— Antje