Construyendo un conjunto de evaluación de recuperación a partir de un corpus público

Casi todas las mejoras en la recuperación son fáciles de implementar e imposibles de justificar sin mediciones. Cambie el tamaño del fragmento y sucederá algo; Nadie sabe si fue una mejora.

Así que la primera pieza de infraestructura que vale la pena construir no es un oleoducto mejor. Es un conjunto de preguntas con respuestas conocidas.

¿Por qué empezar con un corpus público?

La creación de un conjunto de evaluación a partir de documentos internos se topa inmediatamente con dos obstáculos: la aprobación del acceso y el desacuerdo sobre cuál es la respuesta correcta. Ambos tienen solución y ninguno es rápido.

Un gran corpus de referencias públicas evita ambas cosas. Los documentos están disponibles, los hechos se pueden comprobar y nadie tiene que aprobar nada. No estás evaluando tu propio contenido, lo que significa que los resultados no se transfieren directamente, pero el objetivo del ejercicio es construir el arnés y aprender a leerlo.

Trátelo como un ensayo, no como un sustituto.

Lo que necesita el conjunto

Preguntas reales, formuladas como la gente realmente las formula, incluidas las breves y ambiguas. Un conjunto compuesto enteramente de consultas bien formadas favorecerá a cualquier sistema.

Un pasaje objetivo conocido para cada pregunta, de modo que pueda medir la recuperación directamente en lugar de inferirla de la respuesta final.

Suficiente variedad para distinguir los modos de falla: algunas preguntas pueden responderse a partir de un pasaje, otras requieren dos, algunas cuya respuesta está en una tabla, otras donde la palabra clave obvia aparece en varios lugares irrelevantes.

Para empezar, bastan de treinta a cincuenta preguntas. La precisión importa menos que tener algo.

que medir

Si se recuperó el pasaje objetivo y en qué posición. Ese único número separa los dos modos de falla que de otro modo parecen idénticos: material que nunca se encontró y material que se encontró y enterró.

El primero te envía a fragmentar e incrustar. El segundo te envía a reclasificar. Sin distinción, los equipos habitualmente pasan semanas ajustando la capa que ya estaba funcionando.

Luego pase a sus propios documentos

Una vez que existe el arnés y se puede leer su resultado, reconstruir el conjunto con documentos internos es una tarea mucho menor, porque la parte difícil nunca fue el corpus. Era saber qué registrar y qué comparar.

Tu propio conjunto se comportará de manera diferente, y ese es el punto. Vocabulario interno, formato inconsistente, versiones reemplazadas y documentos que nadie ha abierto en tres años son exactamente las condiciones que un corpus público no reproduce.

Guárdalo y sigue usándolo.

Un conjunto de evaluación no es un ejercicio aislado. Es lo que hace que cada cambio posterior sea mensurable: un nuevo modelo de integración, una estrategia de fragmentación diferente, un reordenador, un modelo más barato propuesto por el Optimizador.

Esta es la razón por la que las evaluaciones en Oran se ejecutan en cada ejecución de agente en lugar de como una auditoría periódica. Un conjunto que se consulta una vez durante un proyecto le informa sobre ese proyecto. Un conjunto que se ejecuta continuamente le indica cuándo algo se desvió, que es la falla que de otro modo encontraría un usuario.

Siguiente

La documentación para desarrolladores cubre las mecánicas de recuperación y reclasificación. Las páginas del Sistema de orquestación de agentes cubren cómo la evaluación, el costo y la optimización funcionan como un solo ciclo en lugar de tres actividades separadas.