Einleitung
Wichtige Unternehmensdaten sind nicht nur auf Dateiservern und in Cloud-Speichern abgelegt, sondern auch in SaaS-Anwendungen und Datenbanken. Kundeninformationen in Salesforce, Produktstammdaten in internen Datenbanken, in CSV-Dateien verwaltete Listendaten – diese Daten sind normalerweise nur innerhalb des jeweiligen Systems durchsuchbar.
Dieser Artikel behandelt Szenarien, in denen SaaS- und Datenbankdaten in den Fess-Index importiert werden, um sie zusammen mit anderen Dokumenten systemübergreifend durchsuchen zu können.
Zielgruppe
Personen, die SaaS- und Datenbankinformationen in die Suche einbeziehen möchten
Personen, die die Nutzung von Data-Store-Plugins erlernen möchten
Personen, die eine Suchplattform über mehrere Datenquellen hinweg aufbauen möchten
Szenario
Eine Vertriebsorganisation hat ihre Daten auf folgende Systeme verteilt.
Das Ziel ist es, all diese Daten mit Fess systemübergreifend durchsuchbar zu machen, sodass die für Vertriebsaktivitäten benötigten Informationen über ein einziges Suchfeld gefunden werden können.
Salesforce-Datenintegration
Um Salesforce-Daten in Fess durchsuchbar zu machen, verwenden Sie das Salesforce-Data-Store-Plugin.
Plugin-Installation
Navigieren Sie zu [System] > [Plugins] im Administrationsbereich
Installieren Sie
fess-ds-salesforce
Verbindungseinstellungen
Für die Integration mit Salesforce muss eine Connected App konfiguriert werden.
Vorbereitung auf Salesforce-Seite
Erstellen Sie eine Connected App in den Salesforce-Einstellungen
Aktivieren Sie die OAuth-Einstellungen
Erhalten Sie den Consumer Key und das Consumer Secret
Konfiguration auf Fess-Seite
Navigieren Sie zu [Crawler] > [Data Store] > [Neu erstellen]
Handler-Name: Wählen Sie SalesforceDataStore
Konfigurieren Sie Parameter und Skripte
Label: Setzen Sie
salesforce
Beispiel für die Parameterkonfiguration
Beispiel für die Skriptkonfiguration
Für auth_type geben Sie oauth_password (Benutzername/Passwort-Authentifizierung) oder oauth_token (JWT-Bearer-Token-Authentifizierung) an. Bei Verwendung der JWT-Authentifizierung setzen Sie den privaten RSA-Schlüssel in private_key.
Auswahl der Zieldaten
Salesforce enthält viele Objekte, aber nicht alle müssen durchsuchbar sein. Konzentrieren Sie sich auf die Objekte, nach denen das Vertriebsteam häufig sucht.
Datenbankintegration
Um interne Datenbankdaten durchsuchbar zu machen, verwenden Sie das Datenbank-Data-Store-Plugin.
Plugin-Installation
Installieren Sie das Plugin fess-ds-db. Dieses Plugin kann sich über JDBC mit verschiedenen Datenbanken verbinden (MySQL, PostgreSQL, Oracle, SQL Server usw.).
Konfiguration
Navigieren Sie zu [Crawler] > [Data Store] > [Neu erstellen]
Handler-Name: Wählen Sie DatabaseDataStore
Konfigurieren Sie Parameter und Skripte
Label: Setzen Sie
database
Beispiel für die Parameterkonfiguration
Beispiel für die Skriptkonfiguration
Die Ergebnisse der in sql angegebenen SQL-Abfrage werden gecrawlt. In Skripten verwenden Sie SQL-Spaltennamen (oder Spaltenbezeichnungen), um sie den Fess-Indexfeldern zuzuordnen.
SQL-Abfrage-Design
Wichtige Punkte beim Entwerfen der SQL-Abfrage für den sql-Parameter:
Fügen Sie eine
url-Spalte hinzu, die als Linkziel in den Suchergebnissen dient (z.B.CONCAT('https://.../', id) AS url)Fügen Sie Spalten hinzu, die als durchsuchbarer Textkörper dienen
Verwenden Sie eine
WHERE-Klausel, um unnötige Daten auszuschließen (z.B.status = 'active')
In Skripten verwenden Sie die SQL-Spaltennamen direkt, um sie den Fess-Indexfeldern zuzuordnen.
CSV-Datei-Integration
Auch CSV-Dateidaten können durchsuchbar gemacht werden.
Konfiguration
Verwenden Sie das Plugin fess-ds-csv oder die CSV-Data-Store-Funktionalität.
Navigieren Sie zu [Crawler] > [Data Store] > [Neu erstellen]
Handler-Name: Wählen Sie CsvDataStore
Konfigurieren Sie Parameter und Skripte
Label: Setzen Sie
csv-data
Beispiel für die Parameterkonfiguration
Beispiel für die Skriptkonfiguration (Spaltennamen verwenden, wenn eine Kopfzeile vorhanden ist)
Bei has_header_line=true können die Spaltennamen der Kopfzeile in Skripten verwendet werden. Wenn keine Kopfzeile vorhanden ist, werden Spalten über Nummern referenziert, z.B. cell1, cell2, cell3. Skripte können Groovy-Ausdrücke enthalten, einschließlich Zeichenkettenverkettung.
Wenn CSV-Dateien regelmäßig aktualisiert werden, legen Sie den Ablageort fest und konfigurieren Sie einen Crawl-Zeitplan, damit die neuesten Daten automatisch im Index aktualisiert werden.
Systemübergreifende Suche
Sobald alle Datenquellenkonfigurationen abgeschlossen sind, können Sie die systemübergreifende Suche erleben.
Suchbeispiel
Eine Suche nach „ABC GmbH“ liefert beispielsweise folgende Ergebnisse:
Salesforce-Kontoinformationen (Account)
Angebotsdokumente vom Dateiserver (PDF)
Produktkaufhistorie aus der Datenbank
Messeteilnehmerliste aus CSV
Benutzer können die benötigten Informationen finden, ohne sich Gedanken darüber machen zu müssen, wo diese gespeichert sind.
Filterung nach Label
Wenn es viele Suchergebnisse gibt, grenzen Sie diese mithilfe von Labels ein.
salesforce: Nur Salesforce-Datendatabase: Nur Datenbankdatencsv-data: Nur CSV-Datenshared-files: Nur Dateiserver-Dokumente
Betriebliche Überlegungen
Datenaktualität
SaaS- und Datenbankdaten können häufig aktualisiert werden. Stellen Sie die Crawl-Häufigkeit angemessen ein, um die Aktualität der Suchergebnisse zu gewährleisten.
Sicherheit der Datenbankverbindung
Wenn Sie sich direkt mit einer Datenbank verbinden, achten Sie besonders auf die Sicherheit.
Verwenden Sie einen Datenbankbenutzer mit Nur-Lese-Zugriff
Beschränken Sie Verbindungen auf die IP-Adresse des Fess-Servers
Gewähren Sie keinen Zugriff auf unnötige Tabellen
Achten Sie auf eine sichere Passwortverwaltung
Zusammenfassung
Dieser Artikel behandelte Szenarien, um Salesforce-, Datenbank- und CSV-Dateidaten mit Fess durchsuchbar zu machen.
CRM-Datenintegration mit dem Salesforce-Data-Store-Plugin
Interne-DB-Integration mit dem Datenbank-Data-Store-Plugin
Listendatenintegration mit dem CSV-Data-Store
Feldzuordnung und SQL-Abfrage-Design
Nutzung von Labels bei der systemübergreifenden Suche
Durch die Beseitigung von Datensilos können Sie eine Umgebung schaffen, in der alle Informationsquellen über eine einzige Plattform durchsuchbar sind. Damit ist der Abschnitt „Praktische Lösungen“ abgeschlossen. Ab dem nächsten Teil behandeln wir den Abschnitt „Architektur und Skalierung“, beginnend mit dem Mehrmandanten-Design.