エージェントは、コーパスが除外したものと同程度にしか機能しません

エージェントが間違った回答をした場合、調査は通常、ランク付けから始まります。正しいパッセージが取得されましたか、またそれはどこにありましたか。

驚くべきことに、正直な答えは「正しい文章はなかった」というものです。エージェントが必要とした情報は書面で存在しないか、インデックスが作成されていない場所に存在します。

なぜ不在では沈黙ではなく自信が生まれるのか

存在しないものを検索システムに要求しても、何も返されません。それがランキングの役割であるため、最も近いものを返します。

次にエージェントは、話題に近いが事実とは無関係な資料を受け取り、それに基づいた回答を生成します。出力には引用があります。生垣よりもしっかりと支えられているように見えます。

これは、利用可能な最悪の失敗モードです。間違っていて、自信があり、明らかに原因があるものです。

通常、ギャップがある場所

人の中に息づく知識。常に 1 人の顧客に対して行われる例外です。プロセスに冗長に見えるステップがある理由。誰もが知っていたので誰もそれを書き留めませんでした。

インデックスのない形式の知識。画像、スプレッドシート、記録、図、接続されていなかった共有ドライブ。

欠落しているというよりも、時代遅れになっている知識。欠席よりも悪いのは、検索はうまくいきますが、間違っているためです。置き換えられたポリシーは何の目印もなく、何年にもわたって自信を持って返却されるでしょう。

誰も見ることを許されない知識。正しく制限されており、エージェントの回答はユーザーが検出できないほど不完全です。

ユーザーが見つける前にそれらを見つける方法

あなたが答えられる質問ではなく、人々が実際に尋ねる質問から評価セットを構築します。答えがコーパスに含まれていることがわかっている質問を書きたくなる誘惑にかられます。そうすると、すべてが正常であると報告するセットが生成されます。

次に、正確さとは別にして、各質問について、適切な情報源が存在するかどうかを測定します。これにより、失敗は「見つからない」と「存在しない」に分けられ、それぞれの対処法はまったく異なります。 1 つはインデックス作成プロジェクトです。もう一つは執筆プロジェクトです。

最も価値のある出力はギャップリストです

何が欠けているかを正直に監査することは、別のチューニング サイクルよりも有益であり、組織は一貫してそれを過小評価しています。

何を文書化するか、何を接続するか、何を廃止するかを示します。また、これは、検索システムが天井に近いのか、天井近くにないのかを知る唯一の方法でもあり、これにより、さらなる調整に時間を費やす価値があるかどうかが決まります。

不確実性を平滑化するのではなくマークする

ギャップを埋めることができない場合、システムはその旨を通知する必要があります。 「これに関する最新の情報源が見つかりませんでした」と答えるエージェントは、たとえ能力が低いように見えても、隣接する資料から流暢な答えを生み出すエージェントよりも有用です。

これは構成上の決定であり、文化的な決定です。見かけ上の自信に報いるチームは、自信のあるシステムを手に入れ、自信が最も保証されない場所にもそのシステムを導入します。

これが Yaju 研究室に属する理由

私たちの調査は、組織がエージェントをどのように作成、使用、管理、改善するかに関するものであり、コーパスのギャップは改善の半分に直接当てはまります。モデルを変更しても欠席は解消されないため、これはまさに、本来あるべき以上に注目されにくい種類の運用上の問題となります。

次へ

Yaju Labs ページでは研究プログラムについて説明しており、オープン開発コミュニティには無料で参加できます。開発者ドキュメントでは、取得、チャンキング、来歴について説明しています。