エージェント プログラムがパイロットで停止する理由

このパターンは十分に一般的であり、予測可能です。パイロットは順調に進み、経営陣は満足し、展開が発表されます。そして 8 か月後、同じ 3 人のエージェントが稼働しており、他には何も動きません。

誰もやめようとは決めていない。プログラムは単純に進行を停止しますが、その理由を調べてみると、誰もが予想していたものではありません。

パイロットは成功するために選ばれた

パイロットは通常、明確に定義されたタスク、クリーンなデータ、熱心なチーム、時間に余裕のあるチャンピオンなど、実証性を重視して選ばれます。

2 番目の使用例には、それらのすべてがありません。データは乱雑で、プロセスには議論があり、チームは多忙で、誰もそれを管理する余力がありません。パイロットは、この技術が有利な条件で機能することを証明しましたが、それは決して未解決の疑問ではありませんでした。

2本目は誰も持ってないよ

パイロットにはチャンピオンがいました。ロールアウトにはプログラムがあります。プログラムには所有者はなく、指定された所有者のいないエージェントは保守されないため、第 2 波は 6 か月以内に責任者が誰もいない状態で到来します。

これは、私たちが確認している中で最も信頼できる予測因子です。モデルの選択、予算、洗練さではなく、各エージェントに名前が付けられた人物がいるかどうかです。

品質は感触で評価された

パイロットでは、ドメインを理解している 1 人が出力を読んで判断します。これは 1 人のエージェントには効果がありますが、10 人のエージェントには効果がありません。なぜなら、注意は拡大せず、品質に関する意見の相違には審判がいないからです。

書面による基準と自動採点がなければ、すべての新しいエージェントは無期限に人間の評価者を必要とし、プログラムは評価者の数によって制限されます。パイロット中に eval を作成したチームは、これを通過します。スケーリングがスケーリングのレビューを意味することを発見しなかったチーム。

まさに間違ったタイミングでコストが可視化された

パイロットの支出は、誰も尋ねないほど少額です。展開費用はそうではなく、プログラムにコストがかかり、完了した成果がほとんどない四半期に問題が発生します。

費用がエージェントごとに割り当てられていない場合、答えはありません。 「AI にこれだけのコストがかかる」という言葉は、AI 全般についての決断を促しますが、それはほとんどの場合、速度を落とすという決断につながります。 「このエージェントのコストはこれで、これを作成します」ということは、そのエージェントに関する決定、つまりあなたが望む会話についての決定を促します。

組織はそれが何のためにあるのか決して決めなかった

技術的な理由は最も少なく、最も一般的な理由です。パイロットは、誰もが目標に同意しなくても成功できます。目標は、それが機能するかどうかを確認することであったからです。プログラムではできません。

失速したチームは概して、1 年後の成功がどうなるかを答えることができませんでした。規模を拡大したチームは、たとえ控えめであっても、何か具体的なものを持っていました。それは、その時までに、このカテゴリーの作業を、これだけの量で、この品質で行うというものでした。

乗り越えられる人の共通点

初日からのエージェントおよび指名所有者ごとの帰属。構築前に評価基準を書面化。警告するのではなく阻止する予算。 2 番目の使用例は、実証性ではなく代表性を重視して選択されました。そして、間違っているとしても十分に具体的な目標が明示されています。

どれも洗練されていません。これらはすべて、スプロール化後よりも前の方がインストールが簡単です。

次へ

エージェント オーケストレーション システムのページには、所有権、帰属、予算、評価が含まれます。パターンについて読むよりも特定のプログラムについて議論したい場合は、デモを予約し、制約を持参してください。