Tool calling y el problema real de la orquestación

Cuando se demuestra el tool calling por primera vez, parece una solución obvia. Le explicas al modelo qué herramientas tiene, le das una pregunta y él decide cuáles usar y en qué orden. El problema empieza cuando pasas de tres herramientas a treinta y de un caso ideal a un día normal de operación.

El catálogo importa más que la herramienta

Un modelo no elige bien si las descripciones de las herramientas son ambiguas, si dos hacen casi lo mismo, o si una herramienta tiene parámetros poco claros. La mayor parte del trabajo no es escribir las herramientas, es diseñar el catálogo: nombres consistentes, descripciones precisas, separación clara de responsabilidades, y eliminación agresiva de duplicados.

En los proyectos donde trabajamos, los catálogos que pasan de doce o quince herramientas empiezan a degradar la calidad de las decisiones. Conviene partir el problema en agentes especializados con catálogos pequeños, en lugar de un único agente con un catálogo enorme.

Orquestación: el componente del que nadie habla

Cuando el modelo decide llamar a una herramienta, algo tiene que coordinar la llamada, recoger el resultado, manejar errores, reintentar con criterio y volver al modelo con la información correcta. Ese componente, la orquestación, no se ve en las demos pero es donde vive la mayor parte del esfuerzo real de ingeniería.

• Manejo de errores: qué pasa si la herramienta falla, devuelve un dato corrupto o tarda demasiado.
• Límites de iteración: cuántas veces puede el modelo intentar antes de pedir ayuda humana.
• Trazabilidad: poder reconstruir qué hizo el agente, en qué orden y por qué.
• Permisos: qué herramientas están disponibles para qué usuarios o contextos.

Una recomendación poco glamurosa

Antes de añadir la herramienta número doce, conviene revisar si las anteriores están realmente bien definidas. La calidad del catálogo gana en silencio más rendimiento que cualquier cambio de modelo. Y, sin embargo, casi siempre se pasa por alto porque no hay nada que demostrar en una pantalla.

En estos sistemas, lo que no se ve es lo que decide si funcionan. Esa es probablemente la lección más importante para cualquiera que esté pensando en construir un agente serio.