Agents qui travaillent en dehors de l'anglais

Les organisations qui opèrent dans plusieurs pays ont tendance à découvrir les problèmes linguistiques tardivement, car les systèmes qui les mettent en évidence sont eux-mêmes construits autour de la langue dominante.

La file d'attente d'assistance dans une langue semble correcte. La file d’attente équivalente dans un autre a un taux de remontée légèrement plus élevé, attribué à la dotation en personnel. Personne ne le relie à la récupération.

Où la dégradation se produit réellement

Rarement dans une génération, ce qui est la partie que les gens testent. Généralement en amont.

Récupération. Si votre index a été construit avec une stratégie adaptée à une langue, les limites et les intégrations de blocs peuvent se comporter différemment dans une autre, en particulier pour les langues avec une segmentation ou une morphologie de mots différente. Le bon passage existe et n'est pas récupéré.

Analyse. Les documents dans d'autres scripts, en particulier les textes à sens mixte avec des noms de produits latins, peuvent être extraits dans le mauvais ordre et produire un texte individuellement correct et collectivement brouillé.

Vocabulaire. Les mots qui comptent le plus dans un contexte commercial, les noms de produits et les termes internes, sont exactement ceux qu'un système général gère de manière le moins fiable en dehors de son langage de formation dominant.

L'échec est silencieux par construction

En anglais, une mauvaise récupération produit généralement une réponse qui, selon le réviseur, n'est pas prise en charge. Dans une langue que l’équipe de révision lit moins couramment, le même résultat est plus difficile à vérifier et la révision qui l’aurait détecté est plus faible précisément là où elle est la plus nécessaire.

C'est pourquoi les mesures de qualité globales cachent le problème. Un chiffre d’exactitude global fait la moyenne d’une majorité bien servie avec une minorité mal desservie, et la moyenne semble acceptable.

Que mesurer

Par langue, toujours. Jamais un agrégat. Si vous ne pouvez pas ventiler la qualité par langue, vous ne voyez pas du tout le problème.

Récupération séparément de la génération, par langue. Cela distingue « le passage n'a jamais été trouvé » de « le passage a été trouvé et la réponse était mauvaise », et ceux-ci ont des correctifs différents.

Votre propre vocabulaire, délibérément. Créez des questions d'évaluation contenant les noms de vos produits et les termes internes dans chaque langue dans laquelle vous travaillez, car c'est là que les systèmes généraux divergent le plus.

Ce qui tend à aider

Regrouper la structure du document plutôt que le nombre de jetons, car la structure est indépendante de la langue, contrairement à la longueur.

Récupération hybride combinant recherche sémantique et recherche par mot-clé, qui récupère les termes exacts que les intégrations gèrent de manière inégale.

Une liste de vocabulaire pour votre organisation, lorsque le système en prend en charge une.

Et tester avec des documents réels de chaque région plutôt que des traductions des documents d'une région, qui reproduisent la structure de la langue source et flattent le système.

Pourquoi nous travaillons là-dessus

Yaju Labs étudie la manière dont les organisations créent, utilisent, gèrent et améliorent les agents, et les performances inégales entre les langues constituent l'un des cas les plus évidents où la couche opérationnelle compte plus que la capacité de modèle. Un meilleur modèle ne corrige pas une stratégie de récupération adaptée à une seule langue.

Suivant

Les pages Yaju Labs couvrent le programme de recherche et la communauté de développement ouverte est libre d'adhérer si vous souhaitez contribuer plutôt que lire. La documentation du développeur couvre la récupération et le regroupement.