より大きなモデルが間違った答えである場合

エージェントが不正な出力を生成します。誰かがより大きなモデルを提案しています。これは明白な動きであり、正当化するのは簡単ですが、およそ半分の場合は請求書以外は何も変更されません。

まず問う価値のある質問は、これがどのような失敗だったのかということです。

同一に見えて同一ではない 4 つの失敗

• エージェントは情報を持っていませんでした。検索が失敗したか、コーパスに存在しませんでした。モデルが大きくなると、同じ不在に基づいて構築されたより流暢な答えが生成されます。
• エージェントは情報を持っていましたが、それ以外にも多くの情報を持っていました。関連する文章は存在していましたが、コンテキスト ウィンドウが長くなると改善されるどころか悪化するノイズに埋もれていました。
• エージェントは、どのようなものが良いのかについては知らされていませんでした。基準がない場合、出力品質はモデルのデフォルト値になり、サイズに関係なく実行ごとに異なります。
• エージェントは、許可されるべきではないことを行いました。これは能力の衣装を着た政策の失敗です。

このうち、能力に問題があるのは 1 つだけです。他の 3 つはアップグレード後もそのまま残ります。

午後の違いを見分ける方法

失敗したケースを取り上げて、正しいソースが取得されたかどうかを順番に確認します。無関係な内容がどれほど含まれているか。この出力が失敗するという書面による基準は存在しますか。そしてそれはエージェントがとるべき境界内の行動であった。

最初の答えが「いいえ」の場合は、取得を修正します。 2 番目が大きい場合は、チャンキング ツールまたはトリム ツールを修正します。基準が存在しない場合は、基準を記述します。境界が間違っていた場合、それはモデルの変更ではなくガバナンスの変更です。

4 つすべてがチェックアウトされた場合にのみ、モデルが残りの変数となり、その時点でのアップグレードは、明確な仮説を伴う合理的な実験となります。

なぜ反射神経が強いのか

なぜなら、モデルのアップグレードは 1 人が朝のうちにできる決断であり、代替案はプロジェクトだからです。検索を修正するということは、コーパスを理解することを意味します。基準を書くということは、良い意味が何かに同意することを意味し、それは技術的な会話を装った組織的な会話です。

アップグレードは機能する可能性が高いため、選択されません。入手可能なので選ばれています。

コストの形状

より大きなモデルでは、すでに機能していた通話も含め、エージェントが行うすべての通話の料金が永久に変更されます。障害の 10 パーセントが修正される場合、トラフィックの 10 分の 1 を改善するためにトラフィックの 100 パーセントを支払ったことになります。

これはまさに評価主導の最適化の目的です。オプティマイザーが変更を提案すると、その変更はユーザー自身の評価と比較して測定されるため、質問は「これで良くなりましたか?」ではなくなり、「スコアは変わりましたか、そしてそのコストはいくらでしたか」になります。

本当に能力が答えとなるケース

それらは存在し、認識可能な形状を持っています。つまり、中間エラーが複合する長い複数ステップの推論、小規模なモデルが時折ではなく一貫して誤って処理する異常な構造を持つタスク、正しい答えを得るために複数の制約を同時に保持する必要がある作業などです。

失敗がそこに集中していて、検索、基準、境界が適切であれば、自信を持ってアップグレードしてください。

次へ

バージョンのページでは、Oran の各バージョンとその追加内容について説明します。エージェント オーケストレーション システムのページでは、モデルの決定を測定可能なものに変える評価レイヤーとコスト レイヤーについて説明します。