埋め込みによって実際に実行できること

埋め込みの選択は早い段階で (通常はすぐに) 行われ、その後は負荷がかかります。 6 か月後、インデックスが増大し、いくつかのシステムがインデックスをクエリするようになり、考えを変えるコストはもはや構成変更ではなくなりました。

これは最初の選択について悩むための議論ではありません。それは、安価に選択を再検討できるように設定するための議論です。

実際に閉じ込められているものは何ですか

ベクトルそのもの。これらは、同じモデルによって生成されたベクトルとのみ比較できるため、変更とは、コーパス全体を移行するのではなく、再埋め込むことを意味します。

コーパスのサイズでのストレージとクエリのコストを決定する次元ですが、コーパスが大きくなる前に推論するのは困難です。

自分の特定の語彙に基づいた行動。内部の製品名、略語、ドメイン用語はモデルによって処理方法が異なり、これは埋め込み層に接続するずっと前から検索品質に現れます。

生のテキストを常に保存してください

最も便利な習慣は地味なものです。それは、元のテキストをその出所とともにベクトルと一緒に保存することです。

ソースを破棄してベクトルのみを保持するチームは、データ回復演習として再埋め込みを行っています。テキストを保持していたチームは、代替案を評価したいときにいつでもコーパス全体をバッチ ジョブとして再埋め込むことができます。つまり、決定は未解決のままです。

これにはストレージがかかりますが、それは安価ですが、オプションを購入することになりますが、そうではありません。

ベンチマークではなく、自分の語彙力で評価する

一般的なベンチマークは、モデルが一般的な言語でどのように動作するかを示します。あなたのコーパスは一般的ではありません。これには、サービスの名前、チームがチケットで使用する略語、ポリシーが記述されている表現が含まれます。

自分の文書に対して実際のクエリのセットを作成し、それに答える必要がある文章を含めて、検索を直接測定します。このセットは永久に再利用可能です。埋め込みモデル、チャンキング戦略、リランカー、および後で変更するその他のすべてが評価されます。

また、これは、「別の埋め込みモデルを試してみるべきだ」ということを、支持者との意見ではなく、答えのある質問にする唯一のことでもあります。

通常、ハイブリッドが現実的な答えです

セマンティック検索では、異なる単語で同じことを意味するものを検索します。キーワード検索により、誰かが貼り付けた正確なエラー コードが見つかります。

実際のクエリ セットのほとんどには両方の種類が含まれており、この 2 つを組み合わせたシステムは、人々が実際に尋ねることの複合現実において、どちらか単独の場合よりも優れたパフォーマンスを発揮します。これは高度なテクニックではなく、セマンティック検索のデモの方が優れているため、驚くほどスキップされることが多いです。

運用ビュー

埋め込みは、誰かが行動するという答えで終わるチェーンの一部であり、品質の側面とコストの側面の両方があります。大規模なコーパスを再埋め込むには、実際の費用がかかります。すべてのクエリで過大なベクトルを運ぶことは、無限に繰り返されるより小さなコストです。

どちらもエージェントの残りの動作と同じ評価ループに属しているため、評価では遅延とコストを別個の懸念事項として扱うのではなく、正確さと並行してスコア付けします。

次へ

開発者向けドキュメントでは、埋め込みと取得の仕組みについて説明しています。エージェント オーケストレーション システムのページでは、このような決定を元に戻せるようにする評価レイヤーについて説明します。