小規模なモデルは、適切に設計されたシステムでほとんどの作業を実行します。

単一のエージェント実行の内部を調べて、実際に何が起こったかを数えてください。リクエストがどのカテゴリに分類されるかを決定します。ドキュメントから 3 つのフィールドを抽出します。検索された文章が関連性があるかどうかを判断します。結果のフォーマット。次に呼び出すツールを選択します。

次に推論ステップですが、これは通常そのうちの 1 つです。

ほとんどのシステムは、そのすべてで同じ大規模なモデルを実行します。これは、システムを動作させることが目標だった段階で、システムがそのように構築されたためです。

均一な能力の経済性

分類ステップにおける大規模なモデルは小規模なモデルの数倍のコストがかかり、同じ答えを生成し、毎回の実行で永久に同じ答えを生成します。

個人差は些細なものであり、だからこそ持続するのです。うまくいったステップを誰もレビューしません。年間のトラフィックの合計は決して小さなものではありません。

小型モデルで本当に十分な場合

既知のカテゴリのセットへの分類。半構造化テキストからの構造化フィールドの抽出。候補リストに対する関連性の判断。再フォーマット中。出典がすでに焦点となっている短い要約。

これらは、出力スペースが制限されているという特性を共有しています。正解が 5 つのカテゴリのいずれか、またはドキュメントのフィールドである場合、しきい値を超えた能力は行き場がないため、何も追加されません。

そうでないところ

中間エラーが複合する多段階推論。複数の制約を同時に保持する必要があるタスク。小さなモデルが時折ではなく一貫して誤って処理するような、異常な構造で作業します。品質が本当に無制限である世代。

この区別は、人間的な意味でのタスクの難易度ではありません。それは出力空間が制限されているかどうかです。

推測ではなく調べる方法

実行ごとではなく、ステップごとに計測します。ほとんどのシステムは、エージェント全体のコストと遅延をレポートします。これにより、高価な推論ステップと数十の簡単な推論ステップが平均され、両方が隠蔽されます。

ステップが表示されたら、実験は直接的です。1 つのステップをより小さなモデルに交換し、評価セットを再実行します。スコアが維持される場合、節約は実際かつ永続的になります。値が低下した場合は、モデルのサイズ全般についてではなく、そのステップについて具体的なことを学んだことになります。

これはまさにオプティマイザーが行うことです。モデルとプロンプトの最適化、ツールのトリミング、ハイブリッド変換は、それぞれが有効になる前に独自の評価に対して測定されます。

ハイブリッドパターン

結果として生じる傾向のある形状は、大部分のステップを小さなモデルで処理し、必要な 2 つまたは 3 つのステップで大きなモデルを処理し、それらの間の配線の決定自体は安価になります。

チームは設計ではなく測定によってこれに到達しますが、これは正しい順序です。どのステップに機能が必要かを知る前にハイブリッド システムを設計すると、推測に合わせて最適化された複雑なシステムが作成されます。

罠

評価のないコスト削減は節約ではなく、先送りです。微妙に悪いがより安価なステップは、さらに下流で、節約された費用よりも診断に費用がかかる場所で障害を引き起こします。

このため、提案されたすべての最適化は、最適化を開始する前に作成した基準に基づいてスコア付けされる必要があります。

次へ

オプティマイザーとトークン監視のページでは、ステップごとのインストルメンテーションと評価による最適化について説明します。バージョンのページでは、Oran の各バージョンとその追加内容について説明します。