Editor Top
La respuesta al problema de los tokens, dijo, es la misma: «Cualquier cosa en los sistemas se puede resolver con almacenamiento en caché y dirección indirecta».
DevRev, por ejemplo, está construyendo una capa de memoria entre los agentes de IA y las fuentes de datos primarias, como Salesforce o registros ERP; que puede reducir la carga de tokens y hacer que el movimiento de datos sea más eficiente. La capa contiene un gráfico de conocimiento con respuestas a preguntas comunes de los agentes y se ejecuta en CPU más baratas, evitando ciclos de GPU más costosos.
Enviar agentes directamente a sistemas como ServiceNow y Salesforce «quemará muchos más tokens. Tampoco es preciso. Y, finalmente, no es lo suficientemente seguro como para poder revertirlo en caso de que un agente haya cometido un error», dijo Pandey.
