Exécuter le reclassement dans votre propre cloud

Les équipes opérant dans des environnements où les données ne peuvent pas sortir sont confrontées à un dilemme récurrent concernant la qualité de la récupération. Les techniques les plus utiles sont celles qui ajoutent des composants, et chaque composant supplémentaire est quelque chose à déployer, surveiller et mettre à niveau à l'intérieur des limites.

Le reclassement est le cas le plus clair. Il s’agit généralement de la plus grande amélioration de précision disponible, et il s’agit d’un service supplémentaire.

Ce que tu ajoutes

Une étape de reclassement se situe entre la récupération de la première étape et le modèle. Il prend une liste restreinte de candidats et les réorganise en les jugeant directement par rapport à la requête, plutôt que de comparer des vecteurs précalculés.

D'un point de vue opérationnel, il s'agit d'un service avec son propre profil de ressources : plus lourd par élément que la recherche vectorielle, appliqué à un petit ensemble plutôt qu'à un index complet. Il a besoin de capacité, de surveillance et d’un chemin de mise à niveau comme tout ce que vous exécutez.

Ce que tu récupères

Deux choses à la fois, ce qui est inhabituel.

Meilleure base, car le passage qui répond à la question arrive en haut plutôt qu'en cinquième.

Coût de contexte réduit à chaque appel, car vous pouvez réussir trois bons passages au lieu de dix médiocres. Dans un déploiement auto-hébergé où vous payez pour votre propre calcul, cette réduction s’applique à chaque exécution, de manière permanente.

Le deuxième avantage est celui qui tranche généralement la décision dans les environnements restreints, car il compense le coût du composant que vous venez d'ajouter.

Comment décider avant de le déployer

Mesurez la position de récupération avant de construire quoi que ce soit. Répondez à de vraies questions avec leurs passages corrects et notez si le passage correct est récupéré et où il se classe.

S'il est généralement récupéré mais classé bas, le reclassement sera d'une grande aide et vous pourrez estimer de combien avant de vous engager.

S’il n’est généralement pas récupéré du tout, le reclassement ne peut pas aider. Le problème se situe en amont dans le chunking ou l'embarquement, et l'ajout d'un composant coûtera en capacité et ne changera rien.

Cette mesure prend un après-midi et évite le gaspillage le plus courant lors des travaux de récupération.

Planification des capacités

La charge de reclassement est proportionnelle au volume des requêtes plutôt qu'à la taille du corpus, ce qui rend la prévision plus facile que l'index lui-même. La variable qui compte est le nombre de candidats que vous reclassez par requête.

Reclasser cinquante candidats au lieu de vingt coûte plus cher et aide moins que ce que la plupart des équipes attendent. Mesurez-le plutôt que de supposer que plus c’est mieux.

Dans des environnements isolés

Les mêmes considérations s'appliquent avec un ajout : les mises à jour de modèles pour le reranker arrivent sous forme d'artefacts sur votre planning, comme tout le reste. Construisez d'abord votre ensemble d'évaluation de sorte qu'accepter ou refuser une mise à jour soit une décision mesurée plutôt qu'un saut.

Où cela se situe-t-il dans l’évaluation

L’ajout d’une étape modifie la latence ainsi que la précision et le coût, et tous trois appartiennent au même score. Les évaluations à Oran couvrent ensemble les critères comportementaux, structurels, de latence et de coût, précisément pour cette raison : un gain de précision qui dépasse un budget de latence interactif est un échange, pas une amélioration, et il doit être visible au moment où il est réalisé.

Suivant

Les pages de reclassement et de déploiement couvrent les mécanismes et les options auto-hébergées. La documentation du développeur couvre la création de l'ensemble d'évaluation qui rend cette décision mesurable.