モデルの選択は、ベンチマークの決定ではなく、運用上の決定です。

おなじみのシーケンスがあります。チームはモデルを比較し、公開されたスコアから 1 つを選択し、それを中心に構築します。その結果、エージェントが比較では表に出なかった方法で予測不能な動作をすることがわかりました。そこで彼らは別のモデルを試してみました。行動が変わります。予測不可能性はありません。

診断は通常同じです。モデルが重要な変数ではありませんでした。

ベンチマークで分かることと分からないこと

公開されたスコアは、他の人が選択した条件下で、固定された一連の問題に対してモデルがどのように実行されたかを示します。これは能力全般に関する本当に役立つ情報ですが、特定の作業についての予測としてはほとんど役に立ちません。

あなたの作品には、彼らが持っていなかった文脈があります。あなたの文書、あなたの慣例、受け入れられる答えについてのあなたの考え、自信を持って間違った答えとヘッジされた正しい答えに対するあなたの許容度。抽象的なスコアがわずかに高いモデルは、失敗が特定の形を持つワークフローにとっては悪い選択となる可能性があります。

これはベンチマークに反対する議論ではありません。それは、自分の作品に対する評価の代わりとしてそれらを扱うことに対する反論です。

選択する前に評価を構築する

実際的なアドバイスは地味なものです。実際に自動化しようとしている作業から、正しいと思われる出力を含む 30 ～ 50 個の実例を集めてください。このセットは、3 つの理由から、どの比較表よりも価値があります。

気になるものを測定します。何か他のものを変更すると、それを測定し続けます。また、モデルの交換は希望を持った移行ではなく、結果を伴う実験になるため、モデルの選択が可逆的になります。

このセットを早期に構築するチームは、モデルの決定を迅速に行い、モデルを再検討するのをやめる傾向があります。それをスキップしたチームは、決定を無期限に再考することになります。

同じモデルが 2 つのチームで異なる動作をする理由

モデルの周囲のほとんどすべてが変数です。取得戦略によって、モデルが何を認識するかが決まります。ツール セットは、開始前に何を試行できるか、およびどの程度のコンテキストを運ぶかを決定します。プロンプトには、数か月にわたってエッジケースの処理が蓄積されます。失敗ポリシーは、不安定な回答が返されるか保留されるかを決定します。

これらのいずれかを変更すると、通常はモデルを交換するよりも大きく動作が変化します。そのため、モデルの選択は、運用システムの基礎ではなく、運用システム内の 1 つの設定として扱われます。

コストがかかるところ

モデルの価格は最も目に見えるコストですが、最も高額になることはほとんどありません。再試行、過大なコンテキスト、未使用のツール定義が日常的にさらに多くの要因を占めますが、モデルを切り替えてもそれらはどれも変わりません。

これが、オプティマイザーが評価に対してモデルの選択、プロンプトの形状、およびツールセットを合わせて測定する理由です。品質が独自の基準を満たしている場合にのみ、より安価なモデルに移行しても節約になります。時々そうなりますが、その節約は現実的です。場合によってはそうではなく、目に見えるコストを目に見えないコストと引き換えにすることになります。

私たちの実際の推奨事項

有能なモデルを選択し、評価セットとエージェントあたりの機器コストを構築し、取得、ツール、ポリシー、レビューに注意を払います。新しいスコアが公開されたときではなく、評価で指示されたときにモデルを再検討してください。

これは、比較表ほど面白くない答えです。これは、私たちが観察した展開で安定したシステムを生み出したものです。

次へ

バージョンのページでは、Yaju エージェント オーケストレーション システムのすべての世代と、それぞれの追加内容について説明します。エージェント オーケストレーション システムのページでは、モデルの選択を元に戻すことができる評価層と最適化層について説明します。