Einführung
In vielen Unternehmen ist die Nutzung von Cloud-Speicherdiensten längst selbstverständlich. Dennoch ist es keine Seltenheit, dass je nach Abteilung oder Einsatzzweck unterschiedliche Cloud-Speicherdienste verwendet werden. Die Zeit, die damit verbracht wird, sich zu fragen „War diese Datei in Google Drive, SharePoint oder doch in Box?“, beeinträchtigt die Produktivität.
In diesem Artikel wird beschrieben, wie Sie mehrere Cloud-Speicherdienste mit Fess integrieren und eine Umgebung aufbauen, in der Sie alle Dateien in der Cloud über ein einziges Suchfeld dienstübergreifend durchsuchen können.
Zielgruppe
Administratoren von Organisationen, die mehrere Cloud-Speicherdienste nutzen
Personen, die bei der Suche in Cloud-Speicherdiensten auf Herausforderungen stoßen
Personen, die mit den Grundkonzepten der OAuth-Authentifizierung vertraut sind
Szenario
Ein Unternehmen nutzt die folgenden Cloud-Speicherdienste.
Vorbereitung der Cloud-Speicher-Integration
Installation der Datenspeicher-Plugins
Für das Crawling von Cloud-Speicherdiensten werden die folgenden Plugins verwendet.
fess-ds-gsuite: Crawling von Google Drive / Google Workspacefess-ds-microsoft365: Crawling von SharePoint Online / OneDrivefess-ds-box: Crawling von Box
Die Installation erfolgt über die Verwaltungsoberfläche unter [System] > [Plugins].
OAuth-Authentifizierung konfigurieren
Für den Zugriff auf die APIs der Cloud-Speicherdienste ist die Konfiguration der OAuth-Authentifizierung erforderlich. Registrieren Sie in der Verwaltungskonsole des jeweiligen Dienstes eine Anwendung und rufen Sie die Client-ID und das Client-Secret ab.
Allgemeine Vorgehensweise
Registrieren Sie eine Anwendung in der Verwaltungskonsole des jeweiligen Dienstes
Konfigurieren Sie die erforderlichen API-Scopes (Berechtigungen) (Lesezugriff ist ausreichend)
Rufen Sie die Client-ID und das Client-Secret ab
Tragen Sie diese Informationen in die Datenspeicher-Konfiguration von Fess ein
Konfiguration der einzelnen Dienste
Google Drive konfigurieren
Machen Sie die Dateien in Google Drive suchbar.
Vorbereitung in der Google Cloud Console
Erstellen Sie ein Projekt in der Google Cloud Console
Aktivieren Sie die Google Drive API
Erstellen Sie ein Dienstkonto und laden Sie die JSON-Schlüsseldatei herunter
Geben Sie das Dienstkonto für die gewünschten Laufwerke und Ordner frei
Konfiguration in Fess
[Crawler] > [Datenspeicher] > [Neu erstellen]
Handler-Name: GoogleDriveDataStore auswählen
Parameter und Skripte konfigurieren
Label:
google-drivefestlegen
Beispiel für die Parameterkonfiguration
Beispiel für die Skriptkonfiguration
Tragen Sie die Werte für private_key, private_key_id und client_email aus der JSON-Schlüsseldatei des Dienstkontos ein. Google-eigene Formate wie Google Docs, Tabellen und Präsentationen können ebenfalls als Text extrahiert und durchsucht werden.
Box konfigurieren
Machen Sie die Dateien in Box suchbar.
Vorbereitung in der Box Developer Console
Erstellen Sie eine benutzerdefinierte Anwendung in der Box Developer Console
Wählen Sie als Authentifizierungsmethode „Serverauthentifizierung (mit Client-Anmeldeinformationen)“
Bitten Sie einen Administrator um die Genehmigung der Anwendung
Konfiguration in Fess
[Crawler] > [Datenspeicher] > [Neu erstellen]
Handler-Name: BoxDataStore auswählen
Parameter und Skripte konfigurieren
Label:
boxfestlegen
Beispiel für die Parameterkonfiguration
Beispiel für die Skriptkonfiguration
Konfigurieren Sie die Authentifizierungsinformationen der in der Box Developer Console erstellten benutzerdefinierten Anwendung. Mit supported_mimetypes können Sie die zu crawlenden Dateiformate per regulärem Ausdruck einschränken.
Optimierung der dienstübergreifenden Suche
Nutzung des inkrementellen Crawlings
Beim Crawling von Cloud-Speicherdiensten ist es effizienter, anstatt jedes Mal alle Dateien abzurufen, nur die seit dem letzten Crawling aktualisierten Dateien zu erfassen (inkrementelles Crawling).
Prüfen Sie in der Konfiguration der jeweiligen Plugins, ob die Option für inkrementelles Crawling verfügbar ist. Durch inkrementelles Crawling lässt sich die Anzahl der API-Aufrufe reduzieren und die Crawling-Dauer verkürzen.
URL der Suchergebnisse
Bei Dokumenten, die aus Cloud-Speicherdiensten gecrawlt wurden, öffnet ein Klick auf den Link in den Suchergebnissen die Datei in der Web-Oberfläche des jeweiligen Dienstes. Dies ist für die Benutzer ein natürliches Verhalten, und es ist in der Regel keine besondere Konfiguration erforderlich.
Hinweise zum Betrieb
Erneuerung der OAuth-Tokens
Bei der Integration mit Cloud-Speicherdiensten ist auf die Gültigkeit der OAuth-Tokens zu achten.
Google Drive: Bei Dienstkonten werden die Tokens automatisch erneuert
SharePoint Online: Client-Secrets haben ein Ablaufdatum und müssen regelmäßig erneuert werden
Box: Es kann erforderlich werden, die Anwendung erneut genehmigen zu lassen
Tragen Sie die Ablaufdaten der Tokens in Ihren Kalender ein, um einen Crawling-Stopp durch abgelaufene Tokens zu vermeiden.
Überwachung der API-Nutzung
Die APIs der Cloud-Speicherdienste unterliegen Nutzungsbeschränkungen. Insbesondere beim Crawling großer Datenmengen sollten Sie die API-Nutzung überwachen und die Crawling-Konfiguration so anpassen, dass die Limits nicht überschritten werden.
Berechtigungen und Sicherheit
Konfigurieren Sie für das Fess-Dienstkonto der Cloud-Speicherdienste ausschließlich Lesezugriffsberechtigungen. Schreibberechtigungen sind nicht erforderlich – folgen Sie dem Prinzip der Minimierung von Sicherheitsrisiken.
Darüber hinaus lässt sich durch die Kombination mit der in Teil 5 behandelten rollenbasierten Suche eine Steuerung der Suchergebnisse realisieren, die dem Berechtigungskonzept der Cloud-Speicherdienste entspricht.
Zusammenfassung
In diesem Artikel wurde beschrieben, wie Sie die drei Cloud-Speicherdienste Google Drive, SharePoint Online und Box mit Fess integrieren und eine dienstübergreifende Suchumgebung aufbauen.
Konfiguration der Datenspeicher-Plugins und der OAuth-Authentifizierung für die einzelnen Cloud-Speicherdienste
Unterscheidung und Filterung der Informationsquellen mithilfe von Labels
Optimierung des Sucherlebnisses durch inkrementelles Crawling
Verwaltung von OAuth-Tokens und Überwachung der API-Nutzung
Das Ergebnis ist eine Umgebung, in der Sie benötigte Dateien sofort finden können, ohne darüber nachdenken zu müssen, in welchem Cloud-Speicher sie sich befinden.
Im nächsten Teil wird es um den Tuning-Zyklus zur kontinuierlichen Verbesserung der Suchqualität gehen.