エージェントのレイテンシ バジェットと、誰も設定しない理由

チームにエージェントにかかる費用を尋ねれば、数字が得られます。良いアウトプットとはどのようなものかを尋ねれば、通常は基準が得られます。どれくらいの時間がかかるかを尋ねると、一時停止されます。

遅延は現れる性質のものではないため、この一時停止がその後の多くのフラストレーションの原因となります。それは他の理由で行われた決定の結果です。

品質向上には必ず時間がかかります

より多くの候補を取得し、再ランク付けします。より良い根拠を示し、より多くの時間を費やします。検証ステップを追加します。確実なエラーが減り、時間がかかります。エージェントに別のツールを提供します。つまり、すべての通話で処理できる機能とコンテキストが増えます。

これらはどれも間違っていません。それらは取引であり、一方に予算なしで行われた取引は取引ではなく、漂流です。以前はインタラクティブだったものが今はそうではないことに誰かが気づくまで、一度に合理的な決定が行われるたびにシステムの速度が遅くなります。

時間が実際にどこへ行くのか

人々が想定することはほとんどありません。私たちが調べたエージェントの実行では、分布はかなり一貫しています。モデル推論では少数、取得とツール呼び出しではかなりのシェアがあり、並列実行できてもチェーンとして記述された連続ステップでは驚くほど大きなシェアを占めています。

これらの最後の部分は、パフォーマンスの問題ではなく正しいコードのように見えるため、通常、修正するのが最も安価で、検査も最も少なくなります。

再試行は、もう 1 つの静かなコンシューマーです。エージェントが失敗して再起動した場合、1 つの結果に対してレイテンシ全体を 2 回支払うことになり、成功と再試行を別々に測定しない限り、集計された数値にはそれが隠されます。

インタラクティブとバックグラウンドは別の製品です

レイテンシ バジェットはコンテキスト内でのみ意味を持ちます。人が待っているエージェントには秒単位で測定される予算があり、それを超えると、出力品質に関係なく、機能が壊れているように感じられます。

エージェントがキュー上で一晩中実行されると 20 分かかることがありますが、誰も気にしません。つまり、対話型エージェントでは不可能な検証手順、広範囲の検索、および低速なモデルを実行できるのです。

この方法でエージェントを分類するチームは、同じ手法があるコンテキストでは正しくても、別のコンテキストでは間違っているため、より適切な意思決定を行うことができます。

評価の一部にする

これが、Oran の評価でレイテンシを個別に読み取られる運用メトリクスとして扱うのではなく、動作、構造、およびコストの基準と並行してスコアリングする理由です。

精度を向上させ、応答時間を 2 倍にする変更は自動的に改善されるわけではなく、正しさをスコアリングするだけのシステムはそれを 1 として報告します。 4 つすべてを合計すると、取引が行われた時点で取引が明示的に行われるようになり、再考するのが安価な唯一の点になります。

合理的な出発点

構築する前に大まかにでも予算を書き留め、エージェントをインタラクティブまたはバックグラウンドに分類します。取得、ツール呼び出し、推論を個別に測定して、単に予算を超過するのではなく、その予算を特定できるようにします。成功とは別に再試行をカウントします。次に、品質の低下を扱うのと同じように、レイテンシの低下を扱います。つまり、会議で気づいたものではなく、チェックに失敗したものとして扱います。

次へ

エージェント オーケストレーション システムのページでは、評価レイヤーと、コスト、品質、遅延がどのようにスコアリングされるかについて説明します。可観測性のページでは、実行内のどこに時間が費やされるかについて説明します。