Le reclassement est la précision la moins chère que vous n’achetez probablement pas

La récupération de première étape est conçue pour la rapidité. Il analyse rapidement un index volumineux et renvoie des candidats probablement pertinents. Cela fait probablement un vrai travail dans cette phrase.

La réponse standard consiste à élargir le réseau : renvoyer davantage de passages et laisser le modèle régler le problème. Cela fonctionne, dans le sens où le bon passage se trouve désormais généralement quelque part dans l'ensemble, et il échoue de deux manières que personne ne mesure.

Ce que coûte réellement l’élargissement

Chaque passage supplémentaire occupe le contexte de chaque appel, le coût de la solution de contournement est donc permanent et évolue en fonction du trafic.

Et le modèle doit localiser le matériau pertinent parmi le bruit. Les modèles sont corrects dans ce domaine et ne sont pas fiables, en particulier lorsqu'un passage plausible et non pertinent se trouve au-dessus du bon. C’est l’échec qui produit une réponse confiante basée sur le mauvais paragraphe.

À quoi sert une étape de reclassement

Un reranker examine la requête et chaque candidat ensemble, plutôt que de comparer des vecteurs précalculés. Il est plus lent par élément, c'est pourquoi il ne peut pas analyser l'intégralité de l'index, et bien meilleur pour juger de la pertinence, c'est pourquoi il vaut la peine de parcourir une liste restreinte.

Le schéma est le suivant : récupérer vingt ou cinquante candidats à moindre coût, les reclasser correctement, conserver les trois ou cinq premiers. Le modèle reçoit à la fois moins de matériau et un meilleur matériau.

Cette combinaison est inhabituelle. La plupart des améliorations de la qualité coûtent de l’argent. Celui-ci réduit généralement le contexte de chaque appel tout en augmentant la proportion de réponses fondées sur la bonne source.

Comment savoir si cela en vaut la peine pour vous

Mesurez la récupération séparément de la génération. Prenez de vraies questions avec leurs passages corrects, et vérifiez si le passage correct apparaît dans le set que le modèle reçoit, et à quelle position.

Si le passage correct est généralement récupéré mais classé cinquième ou huitième, un reclassement aidera considérablement. S'il n'est généralement pas récupéré du tout, le problème se situe en amont dans le chunking ou l'intégration, et le reclassement ne peut pas corriger une absence.

Cette distinction évite beaucoup d’efforts inutiles et prend un après-midi pour être établie.

Quand le sauter

Des petits corpus où la récupération de première étape classe déjà le bon passage en premier. Chemins critiques en termes de latence où l’étape supplémentaire ne correspond pas au budget. Requêtes qui sont essentiellement des recherches, où un filtre de métadonnées fait le travail à moindre coût que n'importe quel classement.

Un reranker est une bonne valeur par défaut, pas universelle.

Où il se situe opérationnellement

L'ajout d'une étape modifie à la fois la latence et le coût, ce qui signifie qu'elle appartient à la même boucle d'évaluation que tout le reste. Les évaluations à Oran notent ensemble les critères comportementaux, structurels, de latence et de coût exactement pour cette raison : un changement qui améliore la précision et brise un budget de latence n'est pas automatiquement une amélioration, et ce compromis doit être visible plutôt que découvert.

Suivant

Les pages de reclassement couvrent les mécanismes et les options de déploiement. La documentation du développeur couvre la création de l'ensemble d'évaluation qui vous indique si cela vaut la peine d'être fait pour votre corpus.