エージェント プラットフォームを評価するためのチェックリスト

私たちが目にする評価プロセスのほとんどは、労力の 80% をデモに費やし、20% をその他すべてに費やしています。デモはすべての本格的なベンダーがリハーサルを行ってきた部分であるため、この比率は逆になります。

ここで使用するリストを示します。

帰属とコスト

ワークスペースごとや月ごとではなく、エージェントごとの費用を表示できますか?ユーザーごと、モデルごとに分類されますか?トークンではなく通貨で報告されますか?

チームごとに警告ではなくブロックする制限を設定し、残りのサイクルの予測を確認できますか?

If the answer to the first is no, cost control in that platform means reading a bill afterwards.

所有権とライフサイクル

すべてのエージェントには、エージェントのプロパティとして指定された所有者がいますか、それとも顧客がスプレッドシートで維持することが期待される規則ですか?

オーナーが辞めたエージェントはどうなりますか?半年間誰も触れていないエージェントを認識するシステムはありますか?

孤児エージェントはあらゆるプログラムの地味なコストであり、それを可視化するかどうかはプラットフォームによって大きく異なります。

ポリシーの施行

境界はどこに適用されますか?プロンプト内、オーケストレーション層内、またはアクションが発生する時点でしょうか?

これはベンダー間で最も大きなギャップがある質問であり、曖昧に答えられやすい質問です。 「代理人はそうしないよう指示されています」は強制ではありません。何が物理的に行動を妨げているのかを尋ねてください。

認証情報はどのようにしてエージェントに届くのでしょうか?回答にエージェントが秘密を保持していることが関係している場合は、失効がどのようなものかを尋ねてください。

評価

サンプルではなく実行ごとに、定義した基準に基づいて出力を自動的にスコアリングできますか?

チェックが失敗した場合に実行を停止できますか? それともスコアリングは後で誰かが読むためのレポートを生成するだけですか?

この基準は、コストと遅延を正確さとともにカバーするものですか、それとも正確さのみをカバーするものですか?品質を評価せずにコストを最適化するプラットフォームは、システムをより安く、より悪くすることになります。

監査

すべてのエージェントのアクションは記録されていますか、それともサンプルですか?輸出できますか?それには、エージェントが行ったことだけでなく、エージェントが引き出した内容も含まれますか?

規制当局が、11 か月前に特定の出力が生成された理由を尋ねたら、あなたは何を答えますか?

導入と終了

インフラストラクチャ内、独自のクラウド内で完全にエアギャップされた状態で実行できますか?これらのモードのガバナンスは同一ですか、それとも軽減されますか?

そして人々がスキップするのは、退職とはどのようなものなのかということです。データとエージェント定義を引き続き使用可能な形式でエクスポートできますか?離れることができないプラットフォームは、選択ではなく依存関係です。

当社についての質問

直接聞いていただければ幸いです。私たちはあなたのデータに基づいてトレーニングしません。処理はデフォルトで EU 内で行われ、固定することができます。ガバナンスは同一の自己ホスト型でエアギャップ型です。当社の副処理者リストはリクエストに応じて入手可能であり、個人データを処理する人を追加する前に通知します。

私たちの弱点: 分離された展開では、集合的な動作に依存するものから恩恵を受けることができず、エアギャップ運用ではサポートと診断の仕組みが変わります。どちらも実行可能であり、発見するよりも事前に知っておく価値があります。

次へ

トラスト センターは、コンプライアンス、サブプロセッサー、セキュリティ レポートをカバーします。調達に関するアンケートは contact@capconsultor.eu に送信してください。