文字起こしシステムが調整されていない言語に遭遇すると何が壊れるのか

カバレッジ リストに表示される言語は、システムがその言語を処理するようにトレーニングされていることを意味します。これは、録音に含まれるバージョンをシステムが処理するという意味ではありません。

このギャップが最も失望を生む場所であり、十分に予測可能であり、計画を立てることができます。

方言は細かいことではない

広く話されている言語の多くは、実際には家族語です。主に 1 つの標準的な形式でトレーニングされたシステムは、ネイティブ スピーカーが完全に普通だと考える地域の音声では急激に性能が低下する可能性があります。

劣化が均一になることはほとんどありません。一般的な単語は生き残り、特定の単語は失敗します。そのため、流暢に読める書き起こしが作成されますが、意味を伝える部分は間違っています。これは最悪の組み合わせです。信頼できるほど流暢でありながら、問題になるほど間違っています。

コード交換は正常ですが、システムはそれを困難に感じます

非常に多くの職場では、特に専門用語の場合、人々は 1 つの文の中で言語間を移動します。会議はある言語で行われ、製品名、ツール、専門用語は別の言語で行われる場合があります。

発話ごとに 1 つの言語を想定しているシステムは、これをうまく処理できません。彼らは外来語を主言語の音声学に強制的に組み込んで、もっともらしい間違った単語を生成するか、それを削除します。どちらもサイレント失敗です。

脚本と演出は下流のすべてに影響を与える

右から左へ記述するスクリプトの場合、方向はレンダリングの問題だけではありません。ラテン語の製品名や番号を含む混合方向のテキストは、チャンク化、インデックス付け、表示、引用などの後続のすべてのステップで正しく処理する必要があります。

正しいトランスクリプトであっても、方向が混乱する方法で保存された場合、検索結果を必要とする人にとっては破損しているように見える検索結果が生成され、その原因は、認識された場所から 4 層離れたところにあることになります。

実際に正確さが重要となるのは名前です

ビジネス記録で最も重要な単語は、通常、一般的なシステムが最も認識していない単語、つまり人、製品、内部システム、略語です。

これらは、自信を持って間違った推測をした場合に最も大きなダメージを与える単語でもあります。なぜなら、製品名を聞き間違えたとしても、後で書き起こしを読む人にとっては明らかに間違いではないからです。組織に語彙リストを提供できるシステムは、それができないシステムよりも一般的に正確なパフォーマンスを発揮します。

正直に評価する方法

クリーンなサンプルではなく、独自の録音を使用してください。クロストークのある会議、背景雑音のある通話、地域のアクセントが強い通話なども含まれます。

平均的な精度ではなく、重要な条件に基づいて測定します。全体的な単語エラー率が低くても、すべての製品名を正確に取得できるシステムは、その逆よりも有用です。

次に、リンクではなくチェーンを測定します。エージェントは、録音に関して実際の質問をしたときに、正しい文章を検索して正しく答えることができるでしょうか。それが実際に購入しているものです。

デプロイメントが始まる場所

録画をインフラストラクチャから離れることができない組織の場合、これはすべて自己ホストで機能する必要があり、評価はホストされたデモに対してではなくそこで実行する必要があります。同じガバナンスが適用されます。アクションの時点で適用されるポリシー、実行時に解決される認証情報、およびマテリアルに触れるすべてのエージェントを対象とする監査証跡です。

次へ

文字起こしページでは、対象言語と展開オプションについて説明します。エージェント オーケストレーション システムのページでは、チェーン全体を想定ではなく測定可能に保つ評価レイヤーについて説明します。