Inteligencia Artificial y Machine Learning

RAG: cómo evaluar la recuperación de documentos antes de medir las respuestas

Aprende a evaluar la relevancia, cobertura y precisión de los documentos recuperados en sistemas RAG, y a distinguir los errores de recuperación de los de generación.

RAG: cómo evaluar la recuperación de documentos antes de medir las respuestas

Un asistente basado en Retrieval-Augmented Generation (RAG) puede responder de forma incorrecta por dos motivos muy diferentes: porque recuperó fragmentos que no contienen la información necesaria o porque recuperó buenas fuentes, pero el modelo generó una respuesta equivocada.

Esta distinción es fundamental para depurar el sistema. Si se evalúa únicamente la respuesta final, un problema de búsqueda puede confundirse con un problema de prompt, de modelo o de generación. En este artículo veremos cómo construir una evaluación práctica de la recuperación de documentos antes de medir la calidad de las respuestas.

Por qué conviene separar recuperación y generación

Un flujo RAG suele incluir varias etapas:

  • El usuario formula una consulta.
  • El sistema transforma la consulta en una representación utilizable por el buscador, por ejemplo un embedding o una consulta textual.
  • El retriever busca documentos o chunks relevantes.
  • Se aplican filtros, reglas de ranking o una segunda etapa de reranking.
  • Los fragmentos recuperados se incorporan al contexto del modelo generativo.
  • El modelo produce una respuesta.

Cada etapa puede introducir errores. Por ejemplo, una consulta sobre la política de vacaciones de una empresa puede recuperar un documento antiguo, un procedimiento de otro país o un fragmento que menciona “vacaciones” sin responder la pregunta.

Si la respuesta final es incorrecta, conviene preguntar primero:

  • ¿Las fuentes recuperadas contenían la información necesaria?
  • ¿El sistema recuperó el documento correcto, pero omitió el chunk relevante?
  • ¿Los filtros de metadatos excluyeron una fuente válida?
  • ¿El modelo ignoró o interpretó mal un contexto adecuado?

La primera pregunta pertenece a la evaluación de recuperación. La última está más relacionada con la generación y con la forma en que el contexto se entrega al modelo.

Cómo construir un conjunto pequeño de consultas representativas

No es necesario comenzar con miles de preguntas. Para una primera evaluación resulta más útil crear un conjunto pequeño, pero representativo, de consultas reales o plausibles. Cada consulta debe asociarse con las fuentes que deberían respaldar una respuesta correcta.

Qué debe contener cada caso de evaluación
  • Consulta: la pregunta que realizaría un usuario.
  • Fuentes esperadas: documentos, secciones o identificadores de chunks relevantes.
  • Tipo de consulta: definición, procedimiento, comparación, búsqueda por fecha, consulta con permisos o pregunta que requiere varias fuentes.
  • Metadatos relevantes: área, país, producto, versión, fecha o nivel de acceso.
  • Notas de relevancia: explicación breve de por qué una fuente es suficiente, necesaria o solamente útil.

Por ejemplo, para una base documental interna de ingeniería, un caso podría ser:

  • Consulta: “¿Qué pasos se deben seguir para solicitar acceso a un entorno de staging?”
  • Fuente esperada: el procedimiento vigente de gestión de accesos.
  • Fuente no válida: una guía antigua de desarrollo local que también menciona credenciales.
  • Metadatos esperados: entorno “staging” y versión vigente del procedimiento.

El objetivo no es crear una respuesta ideal para cada pregunta, sino establecer qué información debería aparecer en los resultados recuperados. Esto permite evaluar la búsqueda sin depender inicialmente de la redacción del modelo.

Incluye consultas difíciles, no solo preguntas directas

Un conjunto útil debe incluir variaciones que expongan los límites del sistema:

  • Sinónimos y lenguaje utilizado por los usuarios, pero no por los documentos.
  • Preguntas que requieren combinar dos documentos.
  • Consultas ambiguas que necesitan filtros o información adicional.
  • Preguntas sobre versiones o vigencia temporal.
  • Consultas para las que no existe una fuente válida.
  • Preguntas con restricciones de acceso.

Las consultas sin respuesta conocida también son importantes. Un sistema no debería recuperar una fuente aparentemente relacionada y presentarla como evidencia cuando la base documental no contiene la información solicitada.

Qué revisar en los chunks recuperados

La recuperación no consiste únicamente en comprobar si apareció el documento correcto. También hay que revisar si el fragmento recuperado tiene suficiente contexto para ser útil al modelo.

Relevancia del contenido

Un chunk es relevante cuando aporta información directamente relacionada con la consulta. La coincidencia de una palabra no es suficiente. Un fragmento que menciona “acceso”, “API” o “vacaciones” puede ser irrelevante para la pregunta concreta.

Para cada resultado conviene clasificarlo, al menos, en una de estas categorías:

  • Relevante y suficiente: contiene la información necesaria para responder.
  • Relevante, pero incompleto: aporta parte de la respuesta y requiere otro fragmento.
  • Relacionado, pero insuficiente: comparte el tema, aunque no resuelve la consulta.
  • Irrelevante: no debería formar parte del contexto.
Contexto y límites del chunk

Un chunk puede ser relevante de forma aislada, pero perder significado si se separó de un título, una tabla, una condición o una sección anterior. Esto ocurre con frecuencia cuando se dividen documentos por cantidad fija de caracteres o tokens sin considerar su estructura.

Al revisar los resultados, comprueba si el fragmento conserva:

  • El título o encabezado de la sección.
  • Las condiciones que limitan la regla descrita.
  • Las definiciones utilizadas por el texto.
  • Las referencias a tablas, listas o pasos.
  • La versión o fecha del procedimiento.

Si el chunk necesita estar acompañado por otro fragmento para ser interpretable, esa relación debería formar parte de la estrategia de recuperación. Puede ser necesario recuperar secciones completas, ampliar el contexto vecino o utilizar una representación jerárquica de documentos.

Precisión y recall en la recuperación top-k

Para comparar resultados de recuperación es útil medir qué tan bien aparecen las fuentes esperadas dentro de los primeros resultados. En este contexto, k representa el número de resultados que el sistema entrega al siguiente paso.

Recall@k: ¿apareció lo necesario?

El recall@k indica si las fuentes relevantes esperadas fueron recuperadas dentro de los primeros k resultados. Si una pregunta requiere un documento concreto y este no aparece en el top-k, el sistema no le dio al generador la oportunidad de utilizarlo.

Cuando una consulta tiene varias fuentes válidas, el recall puede calcularse considerando cuántas de esas fuentes fueron recuperadas. De forma conceptual:

Recall@k = fuentes relevantes recuperadas en top-k / fuentes relevantes esperadas

Un recall bajo suele apuntar a problemas como:

  • Embeddings que no representan bien el vocabulario del dominio.
  • Chunks demasiado pequeños o demasiado grandes.
  • Consultas que necesitan expansión, traducción o reformulación.
  • Filtros de metadatos incorrectos.
  • Documentos relevantes que no fueron indexados.
Precision@k: ¿cuántos resultados son realmente útiles?

La precision@k mide la proporción de resultados relevantes dentro de los primeros k. Una precisión baja significa que el contexto se está llenando con fragmentos irrelevantes o poco útiles.

Precision@k = resultados relevantes recuperados en top-k / k

Una recuperación con recall alto y precisión baja puede encontrar la fuente correcta, pero acompañarla de mucho ruido. Esto aumenta el contexto enviado al modelo y puede dificultar que identifique la evidencia principal.

Por el contrario, una precisión alta con recall bajo puede indicar un sistema muy selectivo que recupera pocos resultados correctos, pero omite información necesaria para preguntas que requieren varias fuentes.

El valor de observar el ranking

No basta con saber si una fuente aparece en algún lugar del resultado. También importa su posición. Una fuente relevante en el primer resultado tiene más probabilidades de formar parte del contexto cuando existe un límite de tokens o cuando el sistema aplica un corte temprano.

Por eso, además de precision@k y recall@k, puede ser útil registrar:

  • La posición del primer resultado relevante.
  • La posición de cada fuente relevante esperada.
  • Cuántos resultados irrelevantes aparecen antes de la primera fuente válida.
  • Si el ranking cambia entre consultas equivalentes.

Estas observaciones ayudan a distinguir un problema de cobertura de un problema de ordenamiento.

Filtros de metadatos y trazabilidad de las fuentes

La búsqueda semántica no reemplaza a los filtros estructurados. En documentos internos, datos como área, producto, país, versión, fecha o nivel de acceso pueden ser determinantes para decidir si una fuente es válida.

Una consulta como “¿cuál es el límite de retención?” puede tener respuestas distintas según el producto, la región o la política vigente. Si el sistema no utiliza esos metadatos, puede recuperar un documento semánticamente parecido, pero incorrecto para el contexto del usuario.

Evalúa los filtros como parte de la recuperación

Para cada caso de prueba, registra si el filtro esperado:

  • Se aplicó correctamente.
  • Excluyó documentos que no correspondían.
  • Eliminó por error una fuente válida.
  • No pudo determinarse a partir de la consulta.

También conviene probar combinaciones de búsqueda híbrida: filtros estructurados para restricciones exactas y búsqueda textual o semántica para encontrar el contenido relacionado. La conveniencia de esta combinación depende del motor utilizado y del diseño de los datos.

Registra la evidencia de cada respuesta

La trazabilidad permite revisar qué ocurrió sin depender de la memoria del equipo o de una captura de pantalla. Cada ejecución debería conservar, cuando sea apropiado:

  • La consulta original.
  • Los filtros aplicados.
  • La configuración de chunking o el identificador de la versión del índice.
  • Los chunks recuperados y su orden.
  • Los identificadores de documento, sección y versión.
  • Las puntuaciones del buscador, interpretándolas según el motor utilizado.
  • La respuesta generada y las fuentes que mostró al usuario.

La puntuación de un retriever no siempre es comparable entre motores ni debe interpretarse automáticamente como una probabilidad. Es más seguro utilizarla para ordenar resultados dentro de una misma implementación y complementar su análisis con revisión de relevancia.

Cómo comparar cambios de chunking y búsqueda

Modificar el tamaño de los chunks, cambiar el modelo de embeddings o añadir reranking puede mejorar algunos casos y empeorar otros. La comparación debe realizarse sobre el mismo conjunto de consultas y con una metodología estable.

Una estrategia de comparación
  1. Congela un conjunto de consultas representativas y sus fuentes esperadas.
  2. Ejecuta la versión actual del pipeline de recuperación.
  3. Registra los resultados top-k y clasifica la relevancia de cada chunk.
  4. Aplica un único cambio, por ejemplo una nueva estrategia de chunking.
  5. Ejecuta nuevamente las mismas consultas.
  6. Compara recall@k, precision@k, posición de las fuentes y casos regresivos.
  7. Revisa manualmente las diferencias más importantes.

No es necesario convertir la primera iteración en un benchmark universal. El objetivo inicial es conocer el comportamiento del sistema sobre preguntas representativas de su dominio. Las métricas adquieren valor cuando se calculan con el mismo conjunto, las mismas reglas y una definición clara de qué significa “relevante”.

Qué cambios pueden alterar los resultados
  • Chunking: cambia la unidad que se indexa y el contexto disponible en cada resultado.
  • Embeddings: pueden representar de forma distinta términos técnicos, sinónimos y relaciones semánticas.
  • Búsqueda híbrida: combina coincidencia textual y semántica, con trade-offs que dependen del dominio.
  • Reranking: puede mejorar el orden de los candidatos, pero no recuperará una fuente que nunca llegó a la primera etapa.
  • Filtros: pueden aumentar la precisión o reducir el recall si están mal definidos.
  • Número de resultados: un k mayor puede aumentar la cobertura, pero también introducir ruido y más coste de contexto.

Cuando se cambia más de un componente al mismo tiempo, resulta más difícil atribuir la mejora o la regresión a una causa concreta. En sistemas de producción puede ser necesario evaluar versiones de índice y de configuración de forma separada para mantener la trazabilidad.

Errores frecuentes al evaluar un sistema RAG

  • Medir solo la respuesta final: una respuesta correcta puede ocultar una recuperación frágil, mientras que una respuesta incorrecta puede deberse a una fuente ausente.
  • Considerar relevante cualquier resultado relacionado: compartir palabras clave no implica que el fragmento responda la pregunta.
  • Usar únicamente preguntas fáciles: esto no revela problemas de filtros, versiones, ambigüedad o consultas multi-documento.
  • Confundir score con relevancia: una puntuación alta del buscador no sustituye la revisión del contenido.
  • Ignorar documentos sin respuesta: recuperar una fuente parecida puede inducir al modelo a responder con información no aplicable.
  • Cambiar el prompt antes de revisar el contexto: ningún prompt puede aportar al modelo una fuente que no fue recuperada.
  • Perder la trazabilidad: sin guardar los resultados recuperados, no es posible explicar por qué una respuesta cambió.

Conclusión: valida las fuentes antes de optimizar la respuesta

La evaluación de un sistema RAG debe separar al menos dos preguntas: si el sistema recuperó la información correcta y si el modelo utilizó correctamente esa información. Comenzar por la recuperación permite identificar problemas de chunking, ranking, filtros y cobertura antes de invertir tiempo en ajustar prompts o cambiar el modelo generativo.

Un conjunto pequeño de consultas representativas, fuentes esperadas, revisión de relevancia, métricas de precision@k y recall@k, y trazabilidad de cada ejecución proporciona una base práctica para comparar cambios sin inventar benchmarks ni confundir calidad de búsqueda con calidad de generación.

Antes de ajustar el prompt de tu asistente, comprueba si recupera las fuentes correctas para preguntas representativas. Si tu equipo está construyendo asistentes documentales o productos con IA aplicada, una revisión técnica de la arquitectura y del proceso de evaluación puede ayudar a convertir estas pruebas en una práctica mantenible de ingeniería.

Crear cuenta

Recibe recursos puntuales por correo (paso opcional).

Whatsapp Mentores Tech