英語以外で働くエージェント

複数の国にまたがって活動する組織は、言語の問題を発見するのが遅れる傾向があります。これは、言語の問題が表面化するシステム自体が、主要な言語を中心に構築されているためです。

ある言語のサポート キューは問題ないようです。別のキューの同等のキューではエスカレーション率がわずかに高くなりますが、これは人員配置に起因すると考えられます。誰もそれを検索に結びつけません。

実際に劣化が起こっている場所

世代内ではまれで、人々がテストする部分です。通常は上流です。

回収。ある言語に合わせて調整された戦略でインデックスが構築されている場合、特に単語のセグメンテーションや形態が異なる言語では、チャンクの境界と埋め込みが別の言語で異なる動作をする可能性があります。正しいパッセージが存在しますが、取得されません。

解析中。他のスクリプトのドキュメント、特にラテン語の製品名を含む混合方向テキストは、間違った順序で抽出され、個別には正しくても全体としてはスクランブルされたテキストが生成される可能性があります。

語彙力。ビジネスの文脈で最も重要な単語、製品名や社内用語は、まさに一般的なシステムがその主要なトレーニング言語以外で扱う信頼性が最も低い単語です。

構造により故障も静かです

英語では、不適切な検索により、レビュー担当者がサポートされていないことがわかる回答が生成されるのが通常です。ある言語では、レビューチームがあまり流暢に読めず、同じ出力をチェックするのが難しく、より必要とされる箇所で正確にそれをキャッチするレビューが弱くなります。

これが、総合的な品質指標が問題を隠す理由です。全体的な精度の数値は、十分なサービスを受けている多数派と十分なサービスを受けていない少数派を平均しており、平均値は許容範囲内であるように見えます。

何を測定するか

言語ごとに、常に。決して集合体ではありません。品質を言語ごとに分類できなければ、問題がまったく見えなくなります。

言語ごとに、世代とは別に取得します。これにより、「パッセージが見つからなかった」場合と「パッセージは見つかったが、答えが悪かった」場合が区別され、それぞれに異なる修正が行われます。

あなた自身の語彙を意図的に。一般的なシステムが最も異なる部分であるため、使用する各言語で製品名と社内用語を含む評価質問を作成します。

何が役立つ傾向にあるのか

構造は長さとは異なり言語に依存しないため、トークン数ではなくドキュメント構造に基づいてチャンク化されます。

セマンティック検索とキーワード検索を組み合わせたハイブリッド検索。埋め込みによって不均一に処理される正確な用語を救い出します。

組織の語彙リスト (システムがサポートしている場合)。

また、ある地域の文書の翻訳ではなく、各地域の実際の文書を使用してテストすることにより、ソース言語の構造が再現され、システムがより適切になります。

私たちがこれに取り組む理由

Yaju Labs では、組織がどのようにエージェントを作成、使用、管理、改善するかを研究していますが、言語間のパフォーマンスの不均一は、モデルの機能よりも運用層が重要である最も明白なケースの 1 つです。より優れたモデルは、1 つの言語に合わせて調整された検索戦略を修正するものではありません。

次へ

Yaju Labs ページでは研究プログラムについて説明しており、読むのではなく貢献したい場合はオープン開発コミュニティに無料で参加できます。開発者ドキュメントでは、取得とチャンキングについて説明しています。