Einführung
In den bisherigen Artikeln haben wir uns hauptsächlich auf die Suche in textbasierten Dokumenten konzentriert. Das Wissen in Unternehmen umfasst jedoch auch zahlreiche Inhalte jenseits von Text. Produktfotos, technische Zeichnungen, Folienbilder aus Präsentationen, Whiteboard-Fotos – wenn auch diese „Bilder“ durchsuchbar wären, würden sich die Möglichkeiten der Wissensnutzung erheblich erweitern.
In diesem Artikel stellen wir vor, wie Sie eine multimodale Suchumgebung aufbauen, die eine übergreifende Suche über Text und Bilder ermöglicht.
Zielgruppe
Personen, die Herausforderungen bei der Suche in Dokumenten mit Bildern haben
Personen, die sich für Anwendungen der Vektorsuche interessieren
Personen, die das Konzept multimodaler KI verstehen möchten
Was ist multimodale Suche?
Multimodale Suche ist eine Technologie, die eine übergreifende Suche über verschiedene Datentypen (Text, Bilder, Audio usw.) ermöglicht.
Wenn Sie beispielsweise mit dem Text „Design eines roten Sportwagens“ suchen, werden konzeptionell passende Bilder in den Suchergebnissen angezeigt. Es handelt sich um einen Mechanismus, der es ermöglicht, mit Text nach Bildern oder mit Bildern nach Text zu suchen.
CLIP-Modell
Die Grundlage der multimodalen Suche bilden Modelle wie CLIP (Contrastive Language-Image Pre-Training). CLIP wandelt Text und Bilder in denselben Vektorraum um und ermöglicht so die Berechnung der Ähnlichkeit zwischen Text und Bildern.
Multimodale Suche in Fess
Fess kann durch sein multimodales Such-Plugin eine übergreifende Suche über Text und Bilder realisieren.
Komponenten
Die Komponenten der multimodalen Suche sind wie folgt aufgebaut:
CLIP-Server: Wandelt Text und Bilder in Vektoren um
OpenSearch: Durchsucht Vektoren mittels KNN (K-Nearest Neighbor)
Fess: Stellt Crawling, Indexierung und Such-UI bereit
Einrichtungsschritte
1. Vorbereitung des CLIP-Servers
Bereiten Sie einen Server vor, auf dem das CLIP-Modell ausgeführt wird. Eine Umgebung mit verfügbarer GPU wird empfohlen.
Sie können einen CLIP-Server mit Docker Compose hinzufügen.
2. Installation des Plugins
Installieren Sie das multimodale Such-Plugin für Fess.
3. Konfiguration des KNN-Index
Konfigurieren Sie die KNN-Index-Einstellungen, um die Vektorsuche in OpenSearch durchzuführen. Stellen Sie die Vektordimensionen passend zum verwendeten CLIP-Modell ein.
4. Crawl-Einstellungen
Konfigurieren Sie Verzeichnisse und Websites mit Bildern als Crawl-Ziele. Bilddateien (PNG, JPEG, GIF usw.) werden ebenfalls als Crawl-Ziele erfasst.
Sucherlebnis
Bilder mit Text suchen
Wenn Sie mit Text wie „Produktaußenfoto“, „Meeting-Whiteboard“ oder „technische Zeichnung“ suchen, werden konzeptionell übereinstimmende Bilder in den Suchergebnissen angezeigt.
In den Suchergebnissen werden Vorschaubilder angezeigt, sodass Sie die gewünschten Bilder visuell finden können.
Gemischte Ergebnisse aus Text und Bildern
Bei der multimodalen Suche werden Suchergebnisse zurückgegeben, die eine Mischung aus Textdokumenten und Bildern enthalten. Rank Fusion (siehe Teil 18) wird verwendet, um die Ergebnisse der Textsuche und der Bildsuche zu integrieren.
Anwendungsfälle
Fertigungsindustrie: Suche nach Teile- und Produktbildern
In der Fertigungsindustrie wird eine große Anzahl von Teilefotos und Produktbildern verwaltet. Durch die Suche mit Text wie „rundes Metallteil“ oder durch die Suche nach ähnlichen Teilen anhand eines Fotos eines bestimmten Teils können vergangene Designressourcen genutzt werden.
Designteams: Verwaltung von Design-Assets
Designteams verwalten große Mengen visueller Assets wie Logos, Icons, Fotomaterial und Mockups. Da Sie mit natürlicher Sprache wie „blauer Gradientenhintergrund“ suchen können, wird das Auffinden von Assets erleichtert.
Forschung und Entwicklung: Suche nach Experimentaldaten
Forschungs- und Entwicklungsabteilungen verwalten Diagramme von Versuchsergebnissen, Mikroskopaufnahmen und Bilder von Messdaten. Indem diese Bilder durchsuchbar gemacht werden, wird der Zugriff auf vergangene Experimentaldaten erleichtert.
Überlegungen zur Einführung
Hardwareanforderungen
Die multimodale Suche erfordert Rechenressourcen für die Ausführung des CLIP-Modells.
Empfohlen: GPU-Server (NVIDIA GPU)
Minimum: Läuft auch auf der CPU, jedoch mit reduzierter Indexierungsgeschwindigkeit
Die Indexierungszeit hängt von der Verarbeitungsgeschwindigkeit des Modells ab. Daher wird bei der Indexierung einer großen Anzahl von Bildern eine GPU-Umgebung dringend empfohlen.
Unterstützte Bildformate
Gängige Bildformate (JPEG, PNG, GIF, BMP, TIFF usw.) werden unterstützt. Die Unterstützung von Bildern in PDFs und eingebetteten Bildern in Office-Dokumenten hängt von den Crawl-Einstellungen ab.
Schrittweise Einführung
Die multimodale Suche kann als Ergänzung zu einer bestehenden Textsuchumgebung eingeführt werden.
Führen Sie zunächst eine Testinstallation für Verzeichnisse und Websites mit vielen Bildern durch
Überprüfen Sie die Suchqualität und Nutzung
Erweitern Sie den Umfang schrittweise
Zusammenfassung
In diesem Artikel haben wir die übergreifende Suche über Bilder und Text mittels multimodaler Suche vorgestellt.
Das Konzept der multimodalen Suche (einheitlicher Vektorraum für Text und Bilder durch CLIP)
Komponenten und Konfiguration der multimodalen Suche in Fess
Das Erlebnis der Bildsuche mit Text und der Suche nach ähnlichen Bildern mit Bildern
Anwendungsfälle in der Fertigung, im Design und in der Forschung und Entwicklung
GPU-Anforderungen und ein Ansatz zur schrittweisen Einführung
Im nächsten Artikel behandeln wir die Wissenvisualisierung in Organisationen durch Analyse von Suchdaten.