パブリックコーパスからの検索評価セットの構築

ほとんどすべての検索の改善は実装が簡単で、測定なしに正当化することは不可能です。チャンク サイズを変更すると、何かが起こります。それが改善されたかどうかは誰にもわかりません。

したがって、構築する価値のあるインフラストラクチャの最初の部分は、より優れたパイプラインではありません。答えがわかっている一連の質問です。

なぜパブリックコーパスから始めるのか

内部文書から評価セットを構築すると、すぐに 2 つの障害にぶつかります。それは、アクセスの承認と、何が正解であるかについての意見の相違です。どちらも解決可能ですが、どちらも高速ではありません。

大規模な公開参照コーパスは両方を回避します。文書は入手可能であり、事実は確認可能であり、誰も何も承認する必要はありません。自分のコンテンツを評価しているわけではありません。つまり、結果が直接反映されませんが、この演習のポイントは、ハーネスを構築し、それを読み取る方法を学ぶことです。

代わりではなく、リハーサルとして扱いましょう。

セットに必要なもの

短く曖昧なものも含め、人々が実際に表現する方法で表現された本当の質問。完全に整形式のクエリで構成されたセットは、あらゆるシステムに適しています。

各質問の対象となる文章が既知であるため、最終的な回答から推測するのではなく、検索率を直接測定できます。

失敗モードを区別するのに十分な多様性: 1 つの文章で答えられる質問、2 つの文章が必要な質問、答えが表に記載されている質問、明らかなキーワードが複数の無関係な場所に出現する質問。

最初は 30 ～ 50 の質問で十分です。正確さは、何も持たないことよりも重要です。

何を測定するか

目的のパッセージがそもそも取得されたかどうか、またどの位置で取得されたか。この 1 つの数値によって、他の点では同一に見える 2 つの故障モード、つまり、見つからなかった材料と、見つかって埋もれた材料が区別されます。

最初のステップでは、チャンク化と埋め込みに進みます。 2 番目は再ランキングに送られます。区別がなければ、チームは通常、すでに機能しているレイヤーのチューニングに数週間を費やします。

次に、自分のドキュメントに移動します

ハーネスが存在し、その出力を読み取ることができれば、難しい部分はコーパスではないため、内部ドキュメントに対してセットを再構築する作業ははるかに小さくなります。何を記録し、何を比較するかを知ることでした。

あなた自身のセットは異なる動作をするでしょう、それが重要なのです。内部語彙、一貫性のないフォーマット、置き換えられたバージョン、および 3 年間誰も開いていない文書は、まさにパブリック コーパスが再現できない状態です。

保管して使い続けてください

評価セットは 1 回限りの演習ではありません。新しい埋め込みモデル、異なるチャンキング戦略、リランカー、オプティマイザーによって提案された安価なモデルなど、その後のすべての変更を測定可能にするものです。

これが、Oran の評価が定期的な監査としてではなく、エージェントの実行ごとに実行される理由です。プロジェクト中に 1 回参照されるセットにより、そのプロジェクトについての情報が得られます。継続的に実行されるセットは、何かがドリフトしたとき、つまりユーザーが発見できるはずの障害を通知します。

次へ

開発者ドキュメントでは、取得と再ランキングの仕組みについて説明しています。エージェント オーケストレーション システムのページでは、評価、コスト、最適化が 3 つの個別のアクティビティではなく 1 つのループとしてどのように機能するかについて説明します。