あなたの知識のほとんどはテキストではないため、インデックスはおそらくそれを無視します

エンジニアにシステム アーキテクチャが文書化されている場所を尋ねると、多くの場合、図を示されるでしょう。検索システムに同じ質問をすると、「下の図を参照してください」という段落が返されます。

そのギャップは決して小さいものではありません。ほとんどの組織では、実際の知識の有意義な部分が画像に存在しており、標準パイプラインは画像を段落間のギャップとして扱います。

何が可能になるのか

画像がテキストと同じ空間に埋め込まれている場合、言葉で質問することで画像を検索できます。 「決済サービスと通信するもの」は、それを紹介する文ではなく、アーキテクチャ図を返すことができます。インシデントの説明では、チケットのタイトルではなくエラーのスクリーンショットを取得できます。

役に立つ部分は目新しいものではありません。それは、人々が実際に依存している物質が、彼らに代わって物を見つけるはずのシステムからは見えなくなるということです。

計画に値する 3 つの障害モード

装飾的な画像。すべての画像に情報が含まれているわけではありません。意味のある図とともにインデックス付けされたストック写真、ロゴ、セクション区切り線は、あらゆるクエリにノイズを加えます。フィルターは、たとえソースやコンテキストに基づいた粗雑なものであっても、十分に元が取れます。

画像内のテキスト。スクリーンショットはほとんどがテキストであり、視覚的な埋め込みではうまく処理できません。これらは通常、最初に認識を必要とするため、テキストは検索可能なテキストになり、画像は参照用に保持されます。

コンテキストが欠落しています。チャートには、キャプション、その上の見出し、およびその作成元の文書が含まれていると、はるかに検索しやすくなります。単独でインデックスされた画像はアンカーのない画像であるため、その検索品質はそれに応じて低下します。

ここでは来歴が重要ですが、それ以上に重要です

システムが段落を返すと、人はそれを読んで判断できます。画像を返すときの判断は、その画像がいつどこから来たのかを知ることに完全に依存します。

自信を持って取得された古いアーキテクチャ図は、散文にはない権威があるように見えるため、図がないよりも悪いです。ソース文書、日付、すべてのインデックス付き画像のセクションを保持することで、これを安全に保つことができます。

評価する

他の場所と同じ規律が当てはまります。正解が画像である一連の実際の質問を作成し、その画像が取得されるかどうかを測定します。最終的な答えを読んでマルチモーダル検索を評価すると、2 つのレイヤーが結合され、間違ったレイヤーを調整することになります。

厄介なケースを意図的に含めます。昨年の図とほぼ重複しています。ほとんど文字だけのスクリーンショット。ホワイトボードの写真です。これらはシステムが分かれる場所です。

コストの次元

画像は自由にインデックス付けしたり、コンテキスト内で実行したりすることはできません。すべての回答に画像を定期的に添付する検索の変更はコストの変更であり、精度と同じ評価に属します。安いものは品質が保たれる場合にのみ安いものであり、より高価なものは通話のたびに料金を支払う人がいる場合にのみ優れています。

次へ

開発者向けドキュメントでは、埋め込みと取得の仕組みについて説明しています。エージェント オーケストレーション システムのページでは、このような変化を単なる印象的なものではなく測定可能なものにするための評価層とコスト層について説明します。