AI の所有にかかる総コストは請求書の数値ではありません

エンジニアリング リーダーにエージェントの費用を尋ねると、通常はプロバイダーのダッシュボードから数字が得られます。それは実数です。また、実際には誰も尋ねていない質問に答えているため、利用可能な中で最も興味のないものでもあります。

問題は「先月推論に何を費やしたか」ということではありません。それは、「私たちが実行していることのどれに、そのコストに見合う価値があるのか​​、そして誰が決めるのか」ということです。この質問の形は異なり、プロバイダーの請求書では答えることができません。

項目として表示されることのない 4 つのコスト

• 再試行します。エージェントが途中で失敗し、再度開始すると、1 つの結果に対して 2 回請求が行われます。全体としてこれが小さいことはめったになく、成功とは別に測定されることはほとんどありません。
• 誰もトリミングしなかったコンテキスト。設定ファイルが大きくなるのと同じように、プロンプトも大きくなります。エッジ ケースを修正するために段落を追加する人はいますが、それを削除する人はいません。その後実行するたびに、その段落の料金が永久に支払われます。
• エージェントが決して必要としなかったツール。ツール定義は、使用されるかどうかに関係なく、すべての呼び出しのコンテキスト内に存在します。使用されていないツールが 12 個もあれば、実行するたびに永久に税金が課せられます。
• 孤立したエージェント。誰かがプロジェクトのためにそれを構築しました。プロジェクトは終了しました。エージェントはそうしませんでした。エージェントごとに所有者がなければ、システム内の何も認識されません。

これらはどれも珍しい失敗ではありません。これらは迅速に構築された場合の通常の結果であり、調査を引き起こすほど大きなものは 1 つも存在しないため、静かに複雑化します。

帰属の問題が最初に来る

帰属できないコストを削減することはできません。これは当然のように聞こえますが、アトリビューションは退屈な作業であり、ダッシュボードにはすでに数字が表示されているため、日常的にスキップされます。

Oran 3.1 はまさにこの理由のために存在しました。エージェントごとの支出を帰属させ、ユーザー別およびモデル別に分類し、トークンではなく通貨で報告しました。これは誰もうまくデモできる機能ではありません。これは、「AI は高価です」を「このエージェントはこれだけのコストがかかり、これを作成します」に変えるため、その後のあらゆる会話を可能にするものです。

その変化が起こるまでは、コスト管理は予算が割り当てられた推測に頼るしかありません。

報告はコントロールではない

2番目の問題はタイミングです。月次レポートでは、超過が発生した後に超過について報告しますが、これは管理ではなく会計上の演習です。

サーキット ブレーカーの予算は、そのギャップを埋めます。ワークスペースごとおよびチームごとの制限、制限に近づくと警告を発し、制限に達した場合は自動的にブロックし、サイクルの残りの期間を予測します。警告とブロックの違いは手続き的なもののように思えます。そうではない。 1 つは情報であり、もう 1 つは金曜日の夜に誰かがダッシュボードを見ているかどうかに関係なく行われる決定です。

間違った数値に合わせて最適化するという罠

ここでチームが傷つくのです。支出が目に見えると、本能的に支出を削減することになります。支出を削減するのは簡単です。より小さなモデルを使用し、プロンプトを短くし、検証ステップを削除します。支出はすぐに減少し、品質は少し遅れて、誰も測定していないところで低下します。

これが、最適化が評価に対して測定された場合にのみ機能する理由です。 Oran 3.4 は、モデルとプロンプトの最適化、ツールのトリミング、ハイブリッド エージェントの変換を通じてコストを削減し、これらの変更はすべて、有効になる前に独自の評価に対してスコア付けされます。出力が定義したチェックに合格する場合にのみ、より安価になります。そうしないと、お金を節約できず、見つけるのにもっとお金がかかる場所にコストを先送りすることになります。

最初に測定するもの

If you are starting from a provider invoice and nothing else, the order that has worked for the teams we see is fairly consistent.

エージェントごとの属性支出を何よりも優先します。すべてのエージェントに名前付きの所有者を与えます。警告ではなくブロックする予算を設定します。たとえ大まかなものであっても、最大ボリュームのエージェントの評価を作成します。その後、最適化を開始し、すべての変更をそれらの eval に対してチェックします。

それは速いシーケンスではありません。企画会議で守れる数字で終わるもの、それが本当の目標です。

次にどこに行きますか

プロジェクトではなく出発点が必要な場合、AI Spend Explorer は数分で超過支出を見つけます。全体像を知りたい場合は、エージェント オーケストレーション システムのページで、属性、予算、評価、最適化を 4 つのツールではなく 1 つのシステムとして取り上げます。