Agenten, die außerhalb der englischen Sprache arbeiten

Organisationen, die über mehrere Länder hinweg tätig sind, neigen dazu, Sprachprobleme erst spät zu entdecken, da die Systeme, die sie aufdecken, selbst auf der vorherrschenden Sprache basieren.

Die Support-Warteschlange in einer Sprache sieht gut aus. Die entsprechende Warteschlange in einer anderen weist eine etwas höhere Eskalationsrate auf, was auf die Personalbesetzung zurückzuführen ist. Niemand bringt es mit dem Abrufen in Verbindung.

Wo die Verschlechterung tatsächlich stattfindet

Selten in der Generation, was der Teil ist, den die Leute testen. Normalerweise stromaufwärts.

Abruf. Wenn Ihr Index mit einer Strategie erstellt wurde, die auf eine Sprache abgestimmt ist, können sich Blockgrenzen und Einbettungen in einer anderen Sprache unterschiedlich verhalten, insbesondere bei Sprachen mit unterschiedlicher Wortsegmentierung oder Morphologie. Die richtige Passage ist vorhanden und wird nicht abgerufen.

Parsen. Dokumente in anderen Skripten, insbesondere Text in gemischter Richtung mit lateinischen Produktnamen, können in der falschen Reihenfolge extrahiert werden und Text erzeugen, der einzeln korrekt und insgesamt verschlüsselt ist.

Wortschatz. Die Wörter, die im Geschäftskontext am wichtigsten sind, Produktnamen und interne Begriffe, sind genau diejenigen, die ein allgemeines System außerhalb seiner vorherrschenden Trainingssprache am wenigsten zuverlässig verarbeitet.

Der Ausfall ist konstruktionsbedingt ruhig

Im Englischen führt ein fehlerhafter Abruf normalerweise zu einer Antwort, die für den Rezensenten offensichtlich nicht unterstützt wird. In einer Sprache, in der das Prüfteam weniger flüssig liest, ist die gleiche Ausgabe schwieriger zu überprüfen, und die Rezension, die sie erfasst hätte, ist genau dort schwächer, wo sie mehr benötigt wird.

Aus diesem Grund verbergen aggregierte Qualitätsmetriken das Problem. Eine allgemeine Genauigkeitszahl bildet den Durchschnitt einer gut versorgten Mehrheit und einer unterversorgten Minderheit, und der Durchschnitt sieht akzeptabel aus.

Was zu messen ist

Immer pro Sprache. Niemals ein Aggregat. Wenn Sie die Qualität nicht nach Sprache aufschlüsseln können, können Sie das Problem überhaupt nicht erkennen.

Abruf getrennt von der Generierung pro Sprache. Das unterscheidet „die Passage wurde nie gefunden“ von „die Passage wurde gefunden und die Antwort war schlecht“, und diese haben unterschiedliche Korrekturen.

Bewusst Ihren eigenen Wortschatz. Erstellen Sie Bewertungsfragen mit Ihren Produktnamen und internen Begriffen in jeder Sprache, in der Sie tätig sind, denn hier weichen die allgemeinen Systeme am meisten voneinander ab.

Was hilft tendenziell?

Aufteilung auf die Dokumentstruktur statt auf die Anzahl der Token, da die Struktur im Gegensatz zur Länge sprachunabhängig ist.

Hybrider Abruf, der Semantik und Schlüsselwortsuche kombiniert und exakte Begriffe rettet, die bei Einbettungen ungleichmäßig verarbeitet werden.

Eine Vokabelliste für Ihre Organisation, sofern das System eine solche unterstützt.

Und das Testen mit echten Dokumenten aus jeder Region statt mit Übersetzungen der Dokumente einer Region, die die Struktur der Ausgangssprache reproduzieren und dem System schmeicheln.

Warum wir daran arbeiten

Yaju Labs untersucht, wie Organisationen Agenten erstellen, verwenden, verwalten und verbessern. Die ungleichmäßige Leistung zwischen den Sprachen ist einer der klarsten Fälle, in denen die operative Ebene wichtiger ist als die Modellfähigkeit. Ein besseres Modell legt keine Abrufstrategie fest, die auf eine Sprache abgestimmt wurde.

Als nächstes

Die Yaju Labs-Seiten decken das Forschungsprogramm ab, und der Open Development Community ist der Beitritt kostenlos, wenn Sie einen Beitrag leisten statt lesen möchten. Die Entwicklerdokumentation behandelt das Abrufen und Chunking.