エージェントの時間は実際にどこに費やされるのか、そしてそれがほとんど推論されない理由

パフォーマンスの仕事は注意に続き、注意はモデルに向けられます。これは目立つコンポーネントであり、トークンごとの価格が設定されており、誰もが読むものです。

エージェントを適切に実行できるようにすると、作業内容が変わるほど状況が変わります。

大まかな形状

私たちが調べた実行全体で、経過時間は大きく 4 つの部分に分かれています。

モデル推論。これは現実的ですが、通常は少数派です。

検索。これには、インデックスの実行内容と、再ランキング ステージが存在する場合の実行内容が含まれます。

ツール呼び出し。システムの外部に到達するため、他の誰かによる遅延の影響を受けます。

シーケンシャル構造。実行する必要のなかったステップが次々に実行されることで失われた時間です。

割合はワークロードによって異なります。驚きは一貫しています。最後の 2 つは通常、チームの予想よりも大きく、誰も最適化していないものです。

シーケンシャル構造が最も安上がりです

カレンダーを取得してチェックし、レコードを検索してモデルを呼び出すエージェントは、連続して 4 つのレイテンシを支払っています。多くの場合、最初の 3 つは独立しており、同時に実行される可能性があります。

これはパフォーマンスの問題ではなく、正しいコードのように見えるため、レビューに残ります。これは通常、利用可能な単一の改善としては最大のものであり、モデル、プロンプト、インフラストラクチャへの変更は必要ありません。

ツール呼び出しは他人の問題であるため、自分の問題になります

内部システムに到達したツールは、悪い午後を含むそのシステムの動作を継承します。ツール呼び出しにタイムアウトがないエージェントでは、最終的には無制限の最悪のケースが発生します。

2 つのことが役に立ちます。定義されたフォールバックでタイムアウトするため、依存関係が遅いと実行がハングするのではなく、パフォーマンスが低下します。また、ツールの遅延をツールごとに個別に測定するため、場合によっては 11 秒かかるものも平均化されるのではなく、可視化されます。

再試行には時間とお金がかかります

私たちはコストの観点から再試行について頻繁に書きます。また、失敗した実行が再起動されると、1 つの結果に対して全経過時間を 2 回支払うことになるため、これらはほとんどのシステムで最大の遅延乗数でもあります。

再試行の成功を平均したレイテンシーの数値は、ユーザーには起こらない何かを表しています。

平均ではなくパーセンタイルを測定する

エージェントの実行時間は大きく偏っています。一部の実行では、残りの実行よりもはるかに長い時間がかかります。これは、通常、ツールの速度が遅い、再試行が行われる、またはエージェントが予想よりも多くのステップをさまよっていることが原因です。

その分布の平均は、実際の実行を説明しない数値です。高いパーセンタイルは、悪い日にユーザーが経験するものであり、レイテンシ バジェットを設定する必要があります。

どこから始めるべきか

4 つのカテゴリを個別に計測します。パーセンタイルを見てください。連続的で独立したステップを見つけます。ツールにタイムアウトを設定します。成功とは別に再試行をカウントします。

その作業は地味で、通常、モデル変更よりも多くの成果が得られます。これが、私たちが執筆するほぼすべてのテーマで繰り返されます。

次へ

AI 可観測性のページでは、実行内の計測について説明します。エージェント オーケストレーション システムのページでは、遅延を個別に観察するのではなく、コストと正確性とともにスコアリングする評価について説明します。