Qué es RAG y cuándo tiene sentido en una empresa B2B

En las conversaciones con clientes, la palabra RAG aparece pronto y casi siempre con un halo de solución universal. Conviene desinflarla un poco. RAG, retrieval augmented generation, es simplemente una manera de combinar dos cosas: un buscador sobre tu documentación y un modelo de lenguaje que escribe la respuesta con esos fragmentos delante.

No es nuevo, no es propietario, y no resuelve problemas mal definidos. Lo que sí hace, cuando se monta bien, es permitir que un modelo conteste preguntas con información que no estaba en su entrenamiento, citando fuentes y manteniendo la respuesta acotada al material de la empresa.

Cómo funciona, sin vender humo

El flujo es siempre el mismo. Tomas tus documentos, los partes en fragmentos, los conviertes en vectores y los guardas en una base. Cuando llega una pregunta, buscas los fragmentos más parecidos semánticamente y se los pasas al modelo junto con la pregunta. El modelo redacta una respuesta apoyándose solo en lo que has recuperado.

Lo importante no es el modelo. Lo importante es que la búsqueda funcione. Si recuperas mal, da igual lo bueno que sea el modelo: te va a contestar con piezas equivocadas y va a sonar muy seguro mientras lo hace.

Cuándo merece la pena

En los proyectos en los que trabajamos, RAG aporta valor cuando se cumplen tres condiciones a la vez: hay un volumen de documentación que un humano no puede recorrer en un tiempo razonable, las preguntas que reciben son recurrentes pero variadas, y la respuesta correcta está realmente escrita en algún sitio. Si falla una sola, conviene parar y replantear.

• Buen encaje: soporte interno con manuales extensos, normativa que cambia poco, bases de conocimiento de producto.
• Mal encaje: preguntas que requieren cálculo, datos que viven en una base operacional o respuestas que no están escritas en ningún documento.
• Cuidado: si la documentación está desactualizada, RAG va a amplificar el problema, no resolverlo.

Lo que solemos ver fallar

El error más común no es técnico, es de planteamiento. Se monta un RAG sobre una carpeta heterogénea de PDFs, presentaciones y notas dispersas, y se espera que el sistema entienda lo que el equipo lleva años entendiendo a base de contexto. No funciona así. Antes de invertir en infraestructura, vale la pena preguntarse si la documentación tiene la calidad y la estructura necesarias para que un sistema automático la lea.

Cuando RAG funciona, casi nunca es porque alguien encontró el modelo perfecto. Es porque alguien dedicó tiempo a curar las fuentes, definir qué se indexa y qué no, y monitorizar las respuestas durante semanas hasta que las preguntas raras dejaron de aparecer.