Construire un ensemble d'évaluation de récupération à partir d'un corpus public

Presque toutes les améliorations en matière de récupération sont faciles à mettre en œuvre et impossibles à justifier sans mesure. Changez la taille du morceau et quelque chose se produit ; personne ne peut deviner s'il s'agissait d'une amélioration.

La première infrastructure qui mérite d’être construite n’est donc pas un meilleur pipeline. Il s'agit d'un ensemble de questions dont les réponses sont connues.

Pourquoi commencer avec un corpus public

La construction d'un ensemble d'évaluation à partir de documents internes se heurte immédiatement à deux obstacles : l'approbation d'accès et le désaccord sur la bonne réponse. Les deux peuvent être résolus et aucun n’est rapide.

Un vaste corpus de référence public contourne les deux. Les documents sont disponibles, les faits sont vérifiables et personne n’a besoin d’approuver quoi que ce soit. Vous n'évaluez pas votre propre contenu, ce qui signifie que les résultats ne sont pas transférés directement, mais le but de l'exercice est de construire le harnais et d'apprendre à le lire.

Considérez-le comme une répétition et non comme un substitut.

Ce dont l'ensemble a besoin

De vraies questions, formulées comme les gens les formulent réellement, y compris les plus courtes et ambiguës. Un ensemble entièrement composé de requêtes bien formées flattera n’importe quel système.

Un passage cible connu pour chaque question, afin que vous puissiez mesurer la récupération directement plutôt que de la déduire de la réponse finale.

Assez de variété pour distinguer les modes d'échec : certaines questions auxquelles il est possible de répondre à partir d'un seul passage, certaines en nécessitent deux, certaines dont la réponse est dans un tableau, certaines où le mot-clé évident apparaît à plusieurs endroits non pertinents.

Trente à cinquante questions suffisent pour commencer. La précision compte moins que d’avoir quoi que ce soit.

Que mesurer

Si le passage cible a été récupéré et à quelle position. Ce numéro unique sépare les deux modes de défaillance qui, par ailleurs, semblent identiques : les matériaux qui n'ont jamais été retrouvés et les matériaux qui ont été trouvés et enterrés.

Le premier vous envoie au découpage et à l’intégration. La seconde vous envoie au reclassement. Sans faire cette distinction, les équipes passent régulièrement des semaines à régler la couche qui fonctionnait déjà.

Passez ensuite à vos propres documents

Une fois que le faisceau existe et que vous pouvez lire son résultat, la reconstruction de l'ensemble à partir de documents internes est une tâche beaucoup plus simple, car la partie la plus difficile n'a jamais été le corpus. Il s’agissait de savoir quoi enregistrer et quoi comparer.

Votre propre ensemble se comportera différemment, et c'est là le point. Vocabulaire interne, formatage incohérent, versions obsolètes et documents que personne n'a ouverts depuis trois ans sont exactement les conditions qu'un corpus public ne reproduit pas.

Gardez-le et continuez à l'utiliser

Un ensemble d’évaluation n’est pas un exercice ponctuel. C'est ce qui rend chaque changement ultérieur mesurable : un nouveau modèle d'intégration, une stratégie de segmentation différente, un reranker, un modèle moins cher proposé par l'Optimizer.

C'est pourquoi les évaluations à Oran sont exécutées à chaque exécution d'agent plutôt que comme un audit périodique. Un ensemble consulté une fois au cours d'un projet vous renseigne sur ce projet. Un ensemble qui fonctionne en continu vous indique quand quelque chose a dérivé, ce qui correspond à la panne qui serait autrement détectée par un utilisateur.

Suivant

La documentation du développeur couvre les mécanismes de récupération et de reclassement. Les pages du système d'orchestration d'agent expliquent comment l'évaluation, le coût et l'optimisation fonctionnent comme une seule boucle plutôt que comme trois activités distinctes.