À quoi une intégration vous engage réellement

Le choix de l’intégration est fait tôt, généralement rapidement, et devient alors porteur. Six mois plus tard, l'index s'est agrandi, plusieurs systèmes l'interrogent et le coût d'un changement d'avis n'est plus un changement de configuration.

Ce n’est pas un argument pour s’inquiéter du choix initial. C’est un argument en faveur d’une mise en place de manière à ce que le choix puisse être revu à moindre coût.

Ce qui est réellement verrouillé

Les vecteurs eux-mêmes. Ils ne sont comparables qu'aux vecteurs produits par le même modèle, donc un changement signifie réintégrer l'ensemble du corpus plutôt que de le migrer.

La dimensionnalité, qui détermine le coût de stockage et de requête pour la taille de votre corpus, et sur laquelle il est difficile de raisonner avant que le corpus ne soit grand.

Comportement sur votre vocabulaire spécifique. Les noms de produits internes, les abréviations et les termes de domaine sont traités différemment selon les modèles, et cela apparaît dans la qualité de récupération bien avant que quiconque ne les connecte à la couche d'intégration.

Gardez toujours le texte brut

L’habitude la plus utile n’est pas glamour : stocker le texte original à côté du vecteur, avec sa provenance.

Les équipes qui éliminent la source et ne conservent que les vecteurs ont fait de la réintégration un exercice de récupération de données. Les équipes qui ont conservé le texte peuvent réintégrer l'ensemble du corpus sous forme de travail par lots chaque fois qu'elles souhaitent évaluer une alternative, ce qui signifie que la décision reste ouverte.

Cela coûte du stockage, qui est bon marché, et permet d'acheter une option, ce qui ne l'est pas.

Évaluez sur votre vocabulaire, pas sur une référence

Les benchmarks généraux vous indiquent comment un modèle se comporte dans un langage général. Votre corpus n'est pas général. Il contient les noms de vos services, les abréviations utilisées par vos équipes dans les tickets et la formulation de vos politiques.

Créez un ensemble de requêtes réelles sur vos propres documents, avec les passages qui doivent y répondre, et mesurez directement la récupération. Cet ensemble est réutilisable pour toujours : il évalue le modèle d'intégration, la stratégie de segmentation, le reranker et tout ce que vous modifiez ultérieurement.

C'est aussi la seule chose qui fait que « nous devrions essayer un modèle d'intégration différent » est une question avec une réponse plutôt qu'une opinion avec des défenseurs.

L'hybride est généralement la réponse pragmatique

La recherche sémantique trouve des choses qui signifient la même chose dans des mots différents. La recherche par mot clé permet de trouver le code d'erreur exact que quelqu'un a collé.

La plupart des ensembles de requêtes réels contiennent les deux types, et les systèmes qui combinent les deux surpassent chacun des deux seuls sur la réalité mixte de ce que les gens demandent réellement. Il ne s’agit pas d’une technique sophistiquée, et elle est étonnamment souvent ignorée car la recherche sémantique est meilleure.

La vision opérationnelle

L'intégration fait partie d'une chaîne qui se termine par une réponse sur laquelle quelqu'un agit, et elle a à la fois une dimension de qualité et une dimension de coût. Réintégrer un grand corpus est une réelle dépense ; transporter des vecteurs surdimensionnés sur chaque requête est une dépense moindre et répétée indéfiniment.

Les deux appartiennent à la même boucle d'évaluation que le reste du comportement de l'agent, c'est pourquoi les évaluations évaluent la latence et le coût en même temps que l'exactitude plutôt que de les traiter comme des préoccupations distinctes.

Suivant

La documentation du développeur couvre les mécanismes d'intégration et de récupération. Les pages du système d'orchestration d'agent couvrent la couche d'évaluation qui maintient des décisions comme celle-ci réversibles.