Einführung
In den bisherigen Artikeln haben wir uns auf die schlüsselwortbasierte Volltextsuche konzentriert. Die Volltextsuche ist sehr effektiv, wenn Benutzer geeignete Schlüsselwörter eingeben können. Es gibt jedoch Fälle, in denen die Schlüsselwortsuche allein nicht ausreicht, etwa wenn Benutzer nicht wissen, nach welchen Schlüsselwörtern sie suchen sollen, oder wenn sie Antworten auf konzeptuelle Fragen benötigen.
In diesem Artikel ordnen wir das Spektrum der Suchtechnologien ein und erläutern, wie sich die Suche von der Schlüsselwortsuche zur semantischen Suche weiterentwickelt.
Zielgruppe
Personen, die sich für KI-Suche interessieren und die Konzepte strukturieren möchten
Personen, die die Einführung einer semantischen Suche in Betracht ziehen
Personen, die die KI-bezogenen Funktionen von Fess verstehen möchten
Spektrum der Suchtechnologien
Suchtechnologien bilden ein Spektrum von einfach bis fortgeschritten, wie im Folgenden dargestellt.
Grenzen der Schlüsselwortsuche
Die Schlüsselwortsuche ist in vielen Situationen wirksam, stößt jedoch in den folgenden Fällen an ihre Grenzen.
Vokabular-Diskrepanz
Dies tritt auf, wenn die von Benutzern verwendeten Wörter von den in Dokumenten verwendeten Wörtern abweichen.
Beispiel: Selbst wenn ein Benutzer nach „Ich möchte das Zielkonto für meine Gehaltsüberweisung ändern“ sucht, stimmen die Schlüsselwörter möglicherweise nicht überein, wenn im internen Dokument der Begriff „Verfahren zur Änderung des Gehaltskontos“ verwendet wird.
Dies kann teilweise mit Synonymen (siehe Teil 8) adressiert werden, aber es ist nicht praktikabel, alle möglichen Vokabularkombinationen im Voraus zu registrieren.
Konzeptuelle Suche
Dies ist der Fall, wenn Benutzer nach Konzepten statt nach bestimmten Schlüsselwörtern suchen möchten, zum Beispiel „Interne Regeln zur Fernarbeit.“ In diesem Fall können verschiedene verwandte Dokumente relevant sein, darunter solche über „Homeoffice“, „Telearbeit“, „Anwesenheitsregeln“ und „Arbeitszeiterfassung“.
Funktionsweise der semantischen Suche
Vektordarstellung (Embedding)
Die Grundlage der semantischen Suche ist die Umwandlung von Text in „Vektoren (Arrays von Zahlen).“ Diese Vektoren sind mathematische Darstellungen der „Bedeutung“ des Textes.
Texte mit ähnlicher Bedeutung werden im Vektorraum nahe beieinander platziert. Zum Beispiel liegen die Vektoren für „Hund“ und „Haustier“ nahe beieinander, während die Vektoren für „Hund“ und „Automobil“ weit voneinander entfernt sind.
Funktionsweise der Suche
Der Benutzer gibt eine Suchanfrage ein
Die Anfrage wird in einen Vektor umgewandelt
Die Ähnlichkeit mit den Dokumentvektoren im Index wird berechnet
Dokumente werden in der Reihenfolge der höchsten Ähnlichkeit zurückgegeben
Dadurch können semantisch verwandte Dokumente gefunden werden, auch wenn die Schlüsselwörter nicht exakt übereinstimmen.
Semantische Suche in Fess
Fess kann durch Plugins für semantische Suche eine vektorbasierte Suche realisieren.
Aktivierung der semantischen Suche
Installieren Sie das Plugin für semantische Suche
Konfigurieren Sie das Embedding-Modell
Erstellen Sie den Index neu (Vektorisierung bestehender Dokumente)
Auswahl des Embedding-Modells
Wählen Sie ein Modell (Embedding-Modell) für die Umwandlung von Text in Vektoren.
Die wesentlichen Auswahlkriterien sind:
Sprachunterstützung: Ob die Zielsprache angemessen verarbeitet werden kann
Genauigkeit: Qualität der Vektoren (Genauigkeit der semantischen Erfassung)
Geschwindigkeit: Für die Umwandlung benötigte Zeit
Kosten: API-Nutzungsgebühren, Hardwareanforderungen
Hybridsuche: Rank Fusion
Die semantische Suche ist leistungsfähig, aber nicht allmächtig. Für die Suche nach Eigennamen oder in Fällen, in denen eine exakte Übereinstimmung erforderlich ist, ist die Schlüsselwortsuche besser geeignet.
Das Konzept der Hybridsuche
Die Hybridsuche führt sowohl eine Schlüsselwortsuche als auch eine semantische Suche durch und integriert anschließend die Ergebnisse.
Fess verwendet Rank Fusion, um Ergebnisse verschiedener Suchmethoden zusammenzuführen. Konkret sorgt der RRF-Algorithmus (Reciprocal Rank Fusion) dafür, dass Dokumente, die in beiden Suchergebnissen hoch eingestuft werden, letztendlich an der Spitze stehen.
Vorteile der Hybridsuche
Vereint die „Zuverlässigkeit“ der Schlüsselwortsuche mit der „Flexibilität“ der semantischen Suche
Eigennamen werden durch die Schlüsselwortsuche abgedeckt
Konzeptuelle Suchen werden durch die semantische Suche abgedeckt
Die Gesamtqualität der Suche verbessert sich im Vergleich zur alleinigen Verwendung einer der beiden Methoden
Kriterien für die Einführung
Die semantische Suche sollte nicht unbedingt in jeder Umgebung eingeführt werden.
Fälle, in denen eine Einführung in Betracht gezogen werden sollte
Es gibt viele „Null-Treffer-Anfragen“ in den Suchprotokollen
Benutzer berichten, dass sie „die richtigen Schlüsselwörter nicht kennen“
Sie möchten natürlichsprachliche Fragen unterstützen (Voraussetzung für RAG in Teil 19)
Sie möchten die sprachübergreifende Suche für mehrsprachige Dokumente verbessern
Fälle, in denen sie noch nicht erforderlich ist
Mit Schlüsselwortsuche und Synonymen wird bereits eine ausreichende Suchqualität erzielt
Die Anzahl der Dokumente ist gering und die Benutzer kennen die passenden Schlüsselwörter
Rechenressourcen (GPU oder Cloud-API-Kosten) sind begrenzt
Schrittweise Einführung
Verbessern Sie zunächst die Qualität mit Schlüsselwortsuche und Synonymen (Teil 8)
Wenn weiterhin viele Null-Treffer-Anfragen auftreten, ziehen Sie die semantische Suche in Betracht
Nutzen Sie die Hybridsuche, um von beiden Ansätzen zu profitieren
Zusammenfassung
In diesem Artikel haben wir den Entwicklungspfad von der Schlüsselwortsuche zur semantischen Suche dargestellt.
Das Spektrum der Suchtechnologien (Schlüsselwort -> Fuzzy -> Synonym -> Semantisch -> Hybrid)
Funktionsweise der semantischen Suche (Vektordarstellung und Ähnlichkeitsberechnung)
Semantische Suche und Hybridsuche in Fess (Rank Fusion)
Kriterien für die Einführung und ein schrittweiser Ansatz
Im nächsten Artikel werden wir die semantische Suche weiterentwickeln und einen KI-Assistenten mit RAG aufbauen.