Agentes que trabajan fuera del inglés

Las organizaciones que operan en varios países tienden a descubrir los problemas lingüísticos tarde, porque los sistemas que los sacan a la luz están construidos en torno al idioma dominante.

La cola de soporte en un idioma se ve bien. La cola equivalente en otra tiene una tasa de escalada ligeramente mayor, lo que se atribuye a la dotación de personal. Nadie lo relaciona con la recuperación.

Dónde ocurre realmente la degradación

Rara vez en generación, que es la parte que la gente prueba. Generalmente aguas arriba.

Recuperación. Si su índice se creó con una estrategia adaptada a un idioma, los límites de fragmentos y las incrustaciones pueden comportarse de manera diferente en otro, particularmente para idiomas con diferente segmentación de palabras o morfología. El pasaje correcto existe y no se recupera.

Análisis. Los documentos en otras escrituras, particularmente el texto de direcciones mixtas con nombres de productos en latín, pueden extraerse en el orden incorrecto y producir texto individualmente correcto y colectivamente codificado.

Vocabulario. Las palabras que más importan en un contexto empresarial, nombres de productos y términos internos, son exactamente las que un sistema general maneja de manera menos confiable fuera de su lenguaje de capacitación dominante.

El fracaso es silencioso por la construcción.

En inglés, una mala recuperación generalmente produce una respuesta que el revisor puede ver que no está respaldada. En un idioma que el equipo de revisión lee con menos fluidez, el mismo resultado es más difícil de verificar y la revisión que lo habría detectado es más débil precisamente donde más se necesita.

Ésta es la razón por la que las métricas de calidad agregadas ocultan el problema. Una cifra de precisión general promedia una mayoría bien atendida con una minoría desatendida, y el promedio parece aceptable.

que medir

Por idioma, siempre. Nunca un agregado. Si no puede desglosar la calidad por idioma, no podrá ver el problema en absoluto.

Recuperación por separado de la generación, por idioma. Eso distingue "el pasaje nunca se encontró" de "el pasaje se encontró y la respuesta fue pobre", y tienen diferentes correcciones.

Tu propio vocabulario, deliberadamente. Cree preguntas de evaluación que contengan los nombres de sus productos y los términos internos en cada idioma en el que opera, porque ahí es donde los sistemas generales divergen más.

Lo que tiende a ayudar

Fragmentar la estructura del documento en lugar de contar tokens, porque la estructura es independiente del idioma de una manera que la longitud no lo es.

Recuperación híbrida que combina búsqueda semántica y de palabras clave, que rescata términos exactos que las incrustaciones manejan de manera desigual.

Una lista de vocabulario para su organización, donde el sistema admita una.

Y realizar pruebas con documentos reales de cada región en lugar de traducciones de documentos de una región, que reproducen la estructura del idioma de origen y favorecen el sistema.

Por qué trabajamos en esto

Yaju Labs estudia cómo las organizaciones crean, utilizan, gestionan y mejoran agentes, y el rendimiento desigual entre idiomas es uno de los casos más claros en los que la capa operativa importa más que la capacidad del modelo. Un modelo mejor no soluciona una estrategia de recuperación que se ajustó a un idioma.

Siguiente

Las páginas de Yaju Labs cubren el programa de investigación, y la Comunidad de Desarrollo Abierto es libre de unirse si desea contribuir en lugar de leer. La documentación para desarrolladores cubre la recuperación y la fragmentación.