狭い仕事のための小規模エージェント、そしてそれが重要な理由

最初のエージェントを探しているチームは、小さな勝利にはセットアップの価値がないという理論に基づいて、野心的な目標に到達することがよくあります。私たちはその逆のことを主張し、既存のワークフロー内での翻訳が良い例になります。

初めての仕事として良い理由

入力形状は既知です。サポート メッセージ、製品説明、内部通知、インターフェイス文字列。恣意的な散文ではなく、予測可能な形式で届く、認識可能な種類のテキストです。

出力は確認可能です。両方の言語を読める人ならそれを判断できます。つまり、評価セットの構築は簡単です。

それは反復的かつ継続的です。この価値は 1 つの素晴らしい結果に依存するものではなく、1 年間にわたって蓄積されます。

そしてそれは回復可能です。内部通知の不適切な翻訳は、インシデントではなく修正です。最初のエージェントは、成功よりも失敗を念頭に置いて選択する必要があります。

本当の困難はどこにあるのか

文法ではありません。用語。

どの組織にも、製品名、機能名、法律用語、システム内の何かに対応するステータス ラベルなど、特定の方法で表現する必要がある単語があります。言語的に優れていても、製品に対して間違った用語を使用している翻訳は、重要な点で間違っています。

このため、ここではモデルの機能よりも用語集の方が重要です。組織の承認された用語に制約されたエージェントは、毎回新しく用語を表示し、コーパス全体で一貫性のない、より有能なエージェントよりもパフォーマンスが高くなります。

一貫性が特徴です

人間の翻訳者は、数カ月かけて慎重に作業を行うため、膨大な量のテキストを処理します。用語集を与えられたエージェントは漂流することがなく、その結果得られる一貫性は、ユーザーが繰り返し遭遇するあらゆるものにとって真に価値があります。

これは、エージェントが単に安いだけではないケースです。重要な 1 つの特定の特性に優れています。

きちんと評価してみると

言語ごとに、常に。総合的な品質数値は、十分にサービスが提供されている言語と十分にサービスが提供されていない言語を平均し、すべてが良好であると報告します。

特に用語について。承認された用語が使用されていることを検証するチェックを構築します。これは機械的であり、最も重要な失敗を検出します。

文中に製品名を含むメッセージ、プレースホルダーを含む文字列、承認済みのレンダリングが行われた法的なフレーズを含む通知など、厄介なケースを含む独自の資料。

範囲を狭くして放置する

機能した後は、言語を追加したり、ドキュメント タイプを追加したり、ステップを追加したりして、拡張したくなる誘惑にかられます。しばらく抵抗してください。 1 年後もまだ実行されているエージェントは、境界が一度設定され、保持されているエージェントです。

2 番目のジョブが表示された場合は、2 番目のエージェントを構築します。それぞれ 1 つのことを行う 10 人のエージェントは、個別に評価可能であり、個別に置き換えることができます。 1 人のエージェントが 10 のことを行う場合、そのどちらでもない。

それが教えてくれること

このような最初のエージェントは、出力を超えて、他のすべてが依存する 4 つの習慣をチームに教えます。それは、所有者を与えること、構築する前に基準を記述すること、コストを帰属させること、そして説明ではなく強制される境界を設定することです。

回復可能なものについて学習することは、回復できないものについて学習するよりもはるかに優れています。

次へ

エージェント ハブのページでは、チーム間でのエージェントの公開と再利用について説明します。エージェント オーケストレーション システムのページでは、所有権、評価、および帰属について説明します。