Einführung
In Unternehmen, die global tätig sind, oder in Organisationen mit Mitarbeitern verschiedener Nationalitäten werden interne Dokumente in mehreren Sprachen erstellt. Eine Suchinfrastruktur, die Dokumente in gemischten Sprachen – wie japanische Sitzungsprotokolle, englische technische Spezifikationen und chinesische Marktberichte – angemessen durchsuchen kann, ist unerlässlich.
In diesem Artikel gehen wir von einer Umgebung aus, in der Dokumente auf Japanisch, Englisch und Chinesisch nebeneinander existieren, und bauen eine Umgebung auf, in der Dokumente in jeder Sprache korrekt durchsucht werden können.
Zielgruppe
Administratoren von Organisationen, die mehrsprachige Dokumente verwalten
Personen, die die Suchqualität für andere Sprachen als Japanisch verbessern möchten
Personen, die die Grundlagen von Volltext-Analyzern erlernen möchten
Szenario
Wir gehen von einem Unternehmen mit Standorten in Japan, den USA und China aus.
Standort Japan: Erstellung japanischer Dokumente (Spezifikationen, Sitzungsprotokolle, Berichte)
Standort USA: Erstellung englischer Dokumente (technische Dokumente, Präsentationsmaterialien)
Standort China: Erstellung chinesischer Dokumente (Marktforschung, Geschäftspartnerinformationen)
Gemeinsam: Globale Richtliniendokumente in englischer Sprache
Das Ziel ist es, eine Umgebung zu schaffen, in der Mitarbeiter an jedem Standort Dokumente unabhängig von der Sprache durchsuchen können.
Grundlagen der mehrsprachigen Suche
Sprachverarbeitung in der Volltextsuche
Damit eine Volltextsuchmaschine Dokumente durchsuchbar machen kann, muss sie Text in sogenannte Token (durchsuchbare Einheiten) aufteilen. Dieser Vorgang wird als Tokenisierung bezeichnet.
Die Methode der Tokenisierung unterscheidet sich je nach Sprache erheblich.
Englisch: Durch Leerzeichen getrennte Wörter werden direkt zu Token. Zusätzlich werden Stemming (z. B. running -> run) und Kleinschreibung angewendet.
Japanisch: Da Wörter nicht durch Leerzeichen getrennt sind, wird ein morphologischer Analysator (wie Kuromoji) verwendet, um den Text in Wörter aufzuteilen. Zum Beispiel wird ein Ausdruck wie folgt aufgeteilt: Volltextsuchserver -> Volltext Such Server.
Chinesisch: Wie im Japanischen sind die Wörter nicht durch Leerzeichen getrennt, sodass ein spezieller Tokenizer erforderlich ist. Fess verwendet einen eigenen chinesischen Tokenizer für die Verarbeitung.
Mehrsprachige Unterstützung von Fess
Fess verwendet OpenSearch als Backend und kann die von OpenSearch bereitgestellten mehrsprachigen Analyzer nutzen. In der Standardkonfiguration von Fess ist der japanische (Kuromoji) Analyzer aktiviert, es werden jedoch auch andere Sprachen unterstützt.
Fess verfügt über Indexeinstellungen für über 20 Sprachen und bietet eine Funktion, die die Sprache eines Dokuments automatisch erkennt und den entsprechenden Analyzer anwendet.
Sprachspezifische Einstellungen
Einstellungen für Japanisch
Japanische Dokumente werden mit dem Kuromoji Analyzer verarbeitet. Da Japanisch durch die Standardeinstellungen von Fess angemessen verarbeitet wird, ist keine spezielle zusätzliche Konfiguration erforderlich.
Die Suchqualität kann jedoch durch die folgenden Anpassungen verbessert werden.
Benutzerlexikon
Registrieren Sie branchenspezifische Begriffe und interne Terminologie im Wörterbuch. Dies kann über die Administrationsoberfläche unter [System] > [Wörterbuch] durch Auswahl des Kuromoji-Wörterbuchs konfiguriert werden.
Dies ist beispielsweise nützlich, wenn Sie möchten, dass ein zusammengesetzter Begriff als einzelnes Token behandelt wird, anstatt in separate Wörter aufgeteilt zu werden.
Synonyme
Behandlung von japanischspezifischen Schreibvarianten.
Einstellungen für Englisch
Englische Dokumente werden durch den mehrsprachigen Index von Fess automatisch mit dem entsprechenden Analyzer verarbeitet.
Englischspezifische Anpassungen umfassen Folgendes.
Stoppwörter
Gängige englische Stoppwörter (the, a, an, is, are usw.) werden standardmäßig ausgeschlossen. Es können jedoch auch branchenspezifische Stoppwörter hinzugefügt werden.
Stemmer-Override
Überschreiben Sie das Stemming bestimmter Wörter. Dies kann über die Administrationsoberfläche unter [System] > [Wörterbuch] durch Auswahl des Stemmer-Override-Wörterbuchs konfiguriert werden.
Dies wird beispielsweise verwendet, wenn Fachbegriffe unbeabsichtigte Transformationen erfahren.
Einstellungen für Chinesisch
Für chinesische Dokumente wird der Fess-eigene chinesische Tokenizer verwendet. Im mehrsprachigen Index von Fess werden sowohl vereinfachte als auch traditionelle chinesische Texte korrekt tokenisiert.
Chinesischspezifische Überlegungen umfassen Folgendes.
Zuordnung zwischen vereinfachten und traditionellen chinesischen Zeichen
Suchunterstützung über Pinyin-Eingabe
Chinesischspezifische Synonymeinstellungen
Sucherlebnis in einer mehrsprachigen Umgebung
Überlegungen zur Such-UI
In einer mehrsprachigen Umgebung muss auch die Such-UI an die Sprache des Benutzers angepasst werden.
Fess verfügt über eine Funktion, die die UI-Sprache automatisch basierend auf den Spracheinstellungen des Browsers umschaltet. Die Suchoberfläche wird in mehreren Sprachen bereitgestellt, darunter Japanisch, Englisch und Chinesisch.
Überlegungen zur sprachübergreifenden Suche
Es besteht auch der Bedarf an sprachübergreifender Suche, z. B. englische Dokumente mit japanischen Suchbegriffen finden. Derzeit unterstützt Fess allein keine vollständig automatische übersetzungsbasierte Suche, aber die folgenden Methoden können diesen Bedarf teilweise abdecken.
Mehrsprachige Synonymeinstellungen
Registrieren Sie Übersetzungen zwischen Japanisch und Englisch als Synonyme.
Dadurch werden bei einer Suche nach dem japanischen Wort für Meeting auch englische Dokumente gefunden, die meeting enthalten.
Sprachfilterung mit Labels
Richten Sie Labels für jede Sprache ein, damit Benutzer den Sprachbereich ihrer Suche auswählen können.
lang-ja: Japanische Dokumentelang-en: Englische Dokumentelang-zh: Chinesische Dokumente
Best Practices für die Wörterbuchverwaltung
In einer mehrsprachigen Umgebung hat die Wörterbuchverwaltung einen erheblichen Einfluss auf die Suchqualität.
Wörterbuchpflege nach Sprache
Regelmäßige Wörterbuchpflege
Wörterbücher sind nicht etwas, das man einmal einrichtet und dann vergisst; sie müssen regelmäßig überprüft werden.
Neue Produkt- und Projektnamen hinzufügen
Nicht mehr verwendete Begriffe bereinigen
Neue Synonymkandidaten aus Suchprotokollen hinzufügen
Kombinieren Sie dies mit dem in Teil 8 vorgestellten Zyklus zur Optimierung der Suchqualität, um Wörterbücher kontinuierlich zu pflegen.
Zusammenfassung
In diesem Artikel haben wir den Aufbau einer Suchinfrastruktur in einer Umgebung erläutert, in der japanische, englische und chinesische Dokumente koexistieren.
Verständnis der unterschiedlichen Tokenisierungsprozesse für jede Sprache
Mehrsprachiger Index und Analyzer-Einstellungen von Fess
Anpassungen für Japanisch (Kuromoji), Englisch und Chinesisch
Unterstützung der sprachübergreifenden Suche durch mehrsprachige Synonyme
Best Practices für die Wörterbuchverwaltung
Mehrsprachige Unterstützung ist nicht etwas, das mit einer einmaligen Konfiguration abgeschlossen werden kann; eine kontinuierliche Verbesserung basierend auf den Nutzungsmustern ist wichtig.
Im nächsten Artikel behandeln wir den stabilen Betrieb von Suchsystemen.