再ランキングは、おそらく購入しない最も安価な精度です

第一段階の取得は高速化を目的として構築されています。大規模なインデックスを迅速にスキャンし、おそらく関連する候補を返します。おそらくこの文では実際に仕事をしているのでしょう。

標準的な対応は、ネットを広げることです。つまり、より多くのパッセージを返し、モデルにそれを分類させます。これは、正しいパッセージが通常セット内のどこかにあるという意味で機能しますが、誰も測定していない 2 つの点で失敗します。

拡幅には実際にどのくらいの費用がかかるのか

追加のパッセージはすべて呼び出しのコンテキストを占有するため、回避策のコストは永続的であり、トラフィックに応じて増加します。

そしてモデルはノイズの中から関連するマテリアルを見つけなければなりません。モデルはこの点ではまともですが、特に、もっともらしく見える無関係な文章が正しい文章の上にある場合には信頼できません。それは、間違った段落に基づいて自信を持った答えを生み出す失敗です。

再ランク付けステップの内容

リランカーは、事前に計算されたベクトルを比較するのではなく、クエリと各候補を一緒に調べます。アイテムごとの速度が遅いため、インデックス全体をスキャンできませんが、関連性の判断がはるかに優れているため、候補リストを実行する価値があります。

そのパターンは、20 人または 50 人の候補者を安価に取得し、それらを適切に再ランク付けし、上位 3 人または 5 人を維持することです。モデルはより少ないマテリアルとよ​​り優れたマテリアルを同時に受け取ります。

その組み合わせは珍しいですね。ほとんどの品質向上には費用がかかります。これは通常、すべての通話のコンテキストを減らし、適切なソースに基づいた回答の割合を高めます。

それが自分にとって価値があるかどうかを知る方法

取得を生成とは別に測定します。正しいパッセージを含む実際の質問を取得し、モデルが受け取るセット内に正しいパッセージが表示されるかどうか、またどの位置に表示されるかを確認します。

通常、正しいパッセージが取得されても 5 位または 8 位にランク付けされている場合は、リランカーが大幅に役立ちます。通常、まったく取得されない場合、問題はチャンク化または埋め込みの上流にあり、再ランキングでは不在を修正できません。

この区別により、多くの無駄な労力が節約され、確立するのに午後はかかります。

いつスキップするか

最初の段階の検索ですでに正しいパッセージが最初にランク付けされている小さなコーパス。追加のステップが予算に合わない、レイテンシー クリティカルなパス。本質的に検索であるクエリ。メタデータ フィルターは、どのランキングよりも安価にジョブを実行します。

リランカーは適切なデフォルトですが、普遍的なものではありません。

運用上の場所

ステージを追加すると、レイテンシーとコストの両方が変化します。これは、ステージが他のものと同じ評価ループに属することを意味します。 Oran の評価は、まさにこの理由から、動作、構造、レイテンシー、コストの基準をまとめてスコアリングします。精度を向上させ、レイテンシーの予算を破るような変更は、自動的に改善されるわけではなく、そのトレードオフは発見されるのではなく、目に見えるものである必要があります。

次へ

再ランキングのページでは、仕組みと展開オプションについて説明します。開発者ドキュメントでは、コーパスに対してこれを実行する価値があるかどうかを示す評価セットの構築について説明しています。