Un agent ne peut être aussi bon que ce que votre corpus a laissé de côté

Lorsqu’un agent donne une mauvaise réponse, l’enquête commence généralement par un classement. Le bon passage a-t-il été récupéré et où se trouvait-il ?

Une partie surprenante du temps, la réponse honnête est qu’il n’y avait pas de bon passage. Les informations dont l'agent avait besoin n'existent pas sous forme écrite ou existent dans un endroit non indexé.

Pourquoi l'absence produit la confiance plutôt que le silence

Un système de récupération demandant quelque chose qui n'est pas là ne renvoie rien. Il renvoie la chose la plus proche, car c'est ce que fait le classement.

L’agent reçoit alors du matériel thématiquement adjacent et factuellement non pertinent, et produit une réponse fondée sur celui-ci. La sortie contient des citations. Il semble mieux soutenu qu’une haie.

C’est le pire mode d’échec disponible : erroné, confiant et apparemment d’origine.

Où se trouvent généralement les lacunes

Un savoir qui vit chez les gens. L'exception qui est toujours faite pour un seul client. La raison pour laquelle un processus comporte une étape qui semble redondante. Personne ne l’a écrit parce que tout le monde le savait.

Connaissances dans des formats rien d'indexés. Images, feuilles de calcul, enregistrements, diagrammes, le disque partagé qui n'a jamais été connecté.

Des connaissances obsolètes plutôt que manquantes. Pire que l'absence, car il récupère bien et se trompe. Une politique remplacée sans aucun marqueur l’indiquant sera rendue en toute confiance pendant des années.

Des connaissances que personne n’est autorisé à voir. Correctement restreint, et la réponse de l'agent est incomplète d'une manière que l'utilisateur ne peut pas détecter.

Comment les trouver avant les utilisateurs

Construisez un ensemble d'évaluation à partir de questions que les gens posent réellement, et non de questions auxquelles vous pouvez répondre. La tentation est d’écrire des questions dont vous savez que les réponses se trouvent dans le corpus, ce qui produit un ensemble indiquant que tout va bien.

Mesurez ensuite une chose distincte de l'exactitude : pour chaque question, existe-t-il une source adéquate. Cela divise les échecs en « non trouvé » et « pas là », qui ont des remèdes complètement différents. L’un est un projet d’indexation. L'autre est un projet d'écriture.

Le résultat le plus précieux est la liste des lacunes

Un audit honnête de ce qui manque est plus utile qu’un autre cycle de réglage, et les organisations le sous-estiment systématiquement.

Il vous indique ce qu'il faut documenter, ce qu'il faut connecter et ce qu'il faut retirer. C'est également le seul moyen de savoir si votre système de récupération est proche de son plafond ou loin de celui-ci, ce qui détermine si des réglages supplémentaires valent la peine.

Marquer l’incertitude plutôt que de la lisser

Lorsqu’un écart ne peut être comblé, le système devrait le dire. An agent that answers "I could not find a current source for this" is more useful than one that produces a fluent answer from adjacent material, even though it reads as less capable.

Il s’agit d’une décision de configuration et culturelle. Les équipes qui récompensent la confiance apparente disposent de systèmes fiables, et les placent là où la confiance est la moins justifiée.

Pourquoi cela appartient aux laboratoires Yaju

Nos recherches portent sur la façon dont les organisations créent, utilisent, gèrent et améliorent les agents, et les lacunes du corpus se situent carrément dans la partie amélioration. Aucun changement de modèle ne corrige une absence, ce qui en fait exactement le genre de problème opérationnel qui reçoit moins d’attention qu’il ne le mérite.

Suivant

Les pages Yaju Labs couvrent le programme de recherche et l'Open Development Community est libre d'adhérer. La documentation du développeur couvre la récupération, le regroupement et la provenance.