La plupart de vos connaissances ne sont pas du texte et votre index l'ignore probablement

Demandez à un ingénieur où l'architecture du système est documentée et il vous sera souvent indiqué un diagramme. Posez la même question à un système de récupération et il renverra le paragraphe qui dit "voir le diagramme ci-dessous".

Cet écart n’est pas minime. Dans la plupart des organisations, une part significative des connaissances réelles réside dans les images, et le pipeline standard les traite comme des espaces entre les paragraphes.

Ce qui devient possible

Lorsque les images sont intégrées dans le même espace que le texte, une question posée avec des mots peut récupérer une image. "Ce qui parle au service de paiement" peut renvoyer le schéma d'architecture plutôt que la phrase l'introduisant. Une description d'incident peut récupérer la capture d'écran de l'erreur plutôt que le titre du ticket.

La partie utile n’est pas une nouveauté. C’est que le matériel sur lequel les gens comptent réellement cesse d’être invisible au système qui est censé trouver des choses pour eux.

Trois modes de défaillance à planifier

Images décoratives. Toutes les images ne contiennent pas d’informations. Les photographies d'archives, les logos et les séparateurs de sections indexés aux côtés de diagrammes significatifs ajoutent du bruit à chaque requête. Un filtre, même rudimentaire basé sur la source ou le contexte, est rentable.

Texte à l'intérieur des images. Les captures d'écran sont principalement du texte que l'intégration visuelle gère mal. Ceux-ci veulent généralement d'abord être reconnus, de sorte que le texte devient un texte consultable, l'image étant conservée pour référence.

Contexte manquant. Un graphique est beaucoup plus récupérable lorsqu'il porte sa légende, le titre au-dessus et le document dont il provient. Une image indexée seule est une image sans ancre et sa qualité de récupération en souffre en conséquence.

La provenance compte plus ici, pas moins

Lorsqu'un système renvoie un paragraphe, une personne peut le lire et juger. Lorsqu’il renvoie une image, le jugement dépend entièrement de savoir d’où vient l’image et quand.

Un diagramme d'architecture obsolète récupéré en toute confiance est pire que pas de diagramme, car il semble faire autorité, contrairement à la prose. Le fait de transporter le document source, la date et la section avec chaque image indexée est ce qui assure cette sécurité.

L'évaluer

La même discipline s'applique comme partout ailleurs : construire un ensemble de questions réelles dont la bonne réponse est une image, et mesurer si cette image est récupérée. L'évaluation de la récupération multimodale en lisant la réponse finale confond deux couches et vous enverra la mauvaise configuration.

Incluez délibérément les cas délicats. Le diagramme presque en double de l’année dernière. La capture d'écran qui est principalement du texte. La photographie d'un tableau blanc. C’est là que les systèmes se séparent.

La dimension coût

Les images ne sont pas libres d’indexer ou d’être placées dans leur contexte. Un changement de récupération qui attache systématiquement une image à chaque réponse est un changement de coût, et il appartient à la même évaluation que l'exactitude. Moins cher n'est moins cher que si la qualité est au rendez-vous, et plus riche n'est mieux que si quelqu'un est prêt à payer pour cela à chaque appel.

Suivant

La documentation du développeur couvre les mécanismes d'intégration et de récupération. Les pages du système d'orchestration d'agent couvrent les niveaux d'évaluation et de coûts qui permettent à un changement comme celui-ci d'être mesurable plutôt que simplement impressionnant.