仕事の未来に関する議論には証拠の問題がある

エージェントがどれだけの作業量を吸収するかについては、数え切れないほどの数字があります。エージェントの作業を観察した結果得られた数値がかなり不足しています。

このギャップは偶然ではありません。実際の導入を観察するのは時間がかかり、煩雑で組織固有の作業です。また、エクスポージャの推定値を作成するには午後がかかり、タスクの分類にも時間がかかります。そのため、見積りが最初に届き、それ以来、かつてないほどの正確さで流通し続けています。

見積もりで実際に測定されるもの

通常の方法では、職業を取得し、それをタスクに分解し、モデルがどのタスクを実行できる可能性が高いかを判断し、その割合を報告します。それはそれが何であるかについて合理的な方法です。問題は翻訳中に何が起こるかということです。

分類におけるタスクはクリーンな単位です。仕事のタスクは、最初に誰に尋ねなければならないか、この四半期にどの例外が適用されるか、記録には残らなかったクライアントの電話での発言など、分類法が破棄したコンテキストに埋め込まれています。分類バージョンを実行できるエージェントは、必ずしも実際のバージョンに触れているとは限りません。

したがって、エクスポージャースコアは、説明したようにタスクに関するステートメントです。これは通常、実行された仕事についての声明として読まれますが、それらは異なる主張です。

省略されてしまう部分

私たちが協力している組織では、労力の最大の割合はエージェントが実行するタスクではありません。それはその周りのすべてです。

どの作業を引き継いでも安全かを判断します。エージェントの所有者を確立する。優れた出力がどのようなものかを正確に定義し、それをスコアリングします。レビューステップを構築します。 3 週間後、エージェントが静かにほぼ正しいことを行っていることに気づきました。

これらはいずれもエクスポージャー推定値には反映されず、それらすべてがエクスポージャーが何かに変換されるかどうかを決定します。これが、導入曲線が予測とまったく似ていない理由です。ボトルネックは決してモデルの能力ではありませんでした。

代わりに何を測定するか

エージェントの採用状況を正直に測定することは難しく、引用することもできませんが、可能です。こんな感じです。

• 能力ではなく成果を追跡します。 「エージェントがこれを行うことができた」のではなく、「実際に実行し、その出力は手戻りなく受け入れられました」。
• レビューをカウントします。人間がすべての出力を注意深く読んだ場合、作品は消えるのではなく移動します。それはまだ変化ですが、それは異なります。
• 孤児たちを追って。目的が終了した後も数か月間実行されるエージェントは実際のコストであり、ガバナンスに関するシグナルです。
• 組織ごとではなく、エージェントごとに測定します。集計された数字は、通常、40 人のエージェントのうち 2 人が有益な仕事のほとんどを行っているという事実を隠しています。
• 失敗を報告します。成功だけをカウントする養子縁組調査は、誰も働かない世界を描写しています。

なぜ正確さを超えてこれが重要なのか

悪い見積もりは単に間違っているだけではなく、費用が高くつくのです。機能の 60% が自動化可能であると考えているリーダー チームは、そのための計画を立て、タスクとジョブの違いを発見するのに 1 年を費やします。自動化できるものは何もないと信じているチームは、エージェントが実際に 1 週​​間から数時間を削除するような狭いケースを見逃すことになります。

どちらのエラーも同じ場所から生じています。つまり、計画を立てるのに十分具体的であるように聞こえる数値が、その具体性を決して実現できない方法によって生成されたものです。

それについて私たちが取り組んでいること

Yaju Labs では、組織が実際にエージェントをどのように作成、使用、管理、改善するかを研究しています。これは、エクスポージャーの推定値がスキップする運用レイヤーを監視することを意味します。きれいな物語を裏付けるものではない部分も含めて、見つけたものを公開します。

別の予測を作成するよりも作業が遅くなります。また、起こったことを説明するという利点もあります。

次へ

「仕事の未来」のページでは、私たちが研究している 4 つの分野と、エージェントの構築と運用の間のギャップが本当の主題である理由を取り上げています。記事を読むのではなく、その取り組みに参加したい場合は、オープン開発コミュニティに無料で参加できます。