Introduction
Dans de nombreuses entreprises, l’utilisation du stockage cloud est devenue une évidence. Cependant, il n’est pas rare que différents services cloud soient utilisés selon les départements ou les usages. Le temps passé à se demander « Ce fichier est-il sur Google Drive, SharePoint ou Box ? » nuit à la productivité.
Dans cet article, nous allons intégrer plusieurs services de stockage cloud avec Fess et mettre en place un environnement permettant de rechercher tous les fichiers cloud de manière transversale depuis une seule barre de recherche.
Public cible
Administrateurs d’organisations utilisant plusieurs services de stockage cloud
Personnes confrontées à des difficultés de recherche dans le stockage cloud
Personnes ayant une compréhension des concepts de base de l’authentification OAuth
Scénario
Une entreprise utilise les services de stockage cloud suivants.
Préparation de l’intégration du stockage cloud
Installation des plugins de data store
Les plugins suivants sont utilisés pour le crawl des services de stockage cloud.
fess-ds-gsuite: Crawl de Google Drive / Google Workspacefess-ds-microsoft365: Crawl de SharePoint Online / OneDrivefess-ds-box: Crawl de Box
L’installation s’effectue depuis l’écran d’administration via [Système] > [Plugins].
Configuration de l’authentification OAuth
Pour accéder aux API des services de stockage cloud, la configuration de l’authentification OAuth est nécessaire. Dans la console d’administration de chaque service, enregistrez une application et obtenez l’identifiant client et le secret.
Procédure commune
Enregistrer une application dans la console d’administration de chaque service
Configurer les scopes API (permissions) nécessaires (l’accès en lecture seule est suffisant)
Obtenir l’identifiant client et le secret client
Configurer ces informations dans les paramètres de data store de Fess
Configuration de chaque service
Configuration de Google Drive
Nous allons ajouter les fichiers Google Drive aux cibles de recherche.
Préparation dans Google Cloud Console
Créer un projet dans Google Cloud Console
Activer l’API Google Drive
Créer un compte de service et télécharger le fichier de clé JSON
Configurer le partage du compte de service sur les drives ou dossiers cibles
Configuration dans Fess
[Crawler] > [Data Store] > [Nouveau]
Nom du handler : sélectionner GoogleDriveDataStore
Configuration des paramètres et des scripts
Label : définir
google-drive
Exemple de configuration des paramètres
Exemple de configuration des scripts
Définissez les valeurs private_key, private_key_id et client_email à partir du fichier de clé JSON du compte de service. Les formats propriétaires Google tels que Google Docs, Sheets et Slides peuvent également être extraits et recherchés sous forme de texte.
Configuration de Box
Nous allons ajouter les fichiers Box aux cibles de recherche.
Préparation dans Box Developer Console
Créer une application personnalisée dans Box Developer Console
Sélectionner « Authentification serveur (avec identifiants client) » comme méthode d’authentification
Demander l’approbation de l’application à un administrateur
Configuration dans Fess
[Crawler] > [Data Store] > [Nouveau]
Nom du handler : sélectionner BoxDataStore
Configuration des paramètres et des scripts
Label : définir
box
Exemple de configuration des paramètres
Exemple de configuration des scripts
Configurez les informations d’authentification de l’application personnalisée créée dans Box Developer Console. Le paramètre supported_mimetypes permet de filtrer les types de fichiers à crawler à l’aide d’expressions régulières.
Optimisation de la recherche transversale
Utilisation du crawl différentiel
Pour le crawl des services de stockage cloud, il est plus efficace d’utiliser le crawl différentiel, qui ne récupère que les fichiers mis à jour depuis le dernier crawl, plutôt que de récupérer l’ensemble des fichiers à chaque fois.
Vérifiez si l’option de crawl différentiel est disponible dans la configuration de chaque plugin. Le crawl différentiel permet de réduire le nombre d’appels API et de raccourcir le temps de crawl.
URL des résultats de recherche
Pour les documents crawlés depuis le stockage cloud, un clic sur le lien dans les résultats de recherche ouvre le fichier dans l’interface Web du service correspondant. Ce comportement est naturel pour les utilisateurs et ne nécessite généralement aucune configuration particulière.
Points d’attention opérationnels
Renouvellement des tokens OAuth
Lors de l’intégration avec les services de stockage cloud, il est important de surveiller la validité des tokens OAuth.
Google Drive : dans le cas d’un compte de service, les tokens sont renouvelés automatiquement
SharePoint Online : les secrets client ont une date d’expiration et doivent être renouvelés périodiquement
Box : une re-approbation de l’application peut être nécessaire
Enregistrez les dates d’expiration des tokens dans un calendrier afin d’éviter l’arrêt du crawl en raison d’une expiration.
Surveillance de l’utilisation des API
Les API des services de stockage cloud sont soumises à des limites d’utilisation. En particulier lors du crawl d’un grand nombre de fichiers, surveillez l’utilisation des API et ajustez les paramètres de crawl pour ne pas dépasser les limites.
Permissions et sécurité
Le compte de service Fess pour le stockage cloud doit être configuré avec des permissions en lecture seule. Les permissions en écriture ne sont pas nécessaires, conformément au principe de minimisation des risques de sécurité.
De plus, en combinant cette approche avec la recherche basée sur les rôles abordée dans la Partie 5, il est possible de contrôler les résultats de recherche en fonction du système de permissions du stockage cloud.
Conclusion
Dans cet article, nous avons intégré trois services de stockage cloud – Google Drive, SharePoint Online et Box – avec Fess pour mettre en place un environnement de recherche transversale.
Configuration des plugins de data store et de l’authentification OAuth pour chaque service de stockage cloud
Distinction et filtrage des sources d’information par labels
Optimisation de l’expérience de recherche grâce au crawl différentiel
Gestion des tokens OAuth et surveillance de l’utilisation des API
Cela permet de trouver instantanément les fichiers nécessaires sans avoir à se demander sur quel service cloud ils se trouvent.
Dans le prochain article, nous aborderons le cycle de tuning pour l’amélioration continue de la qualité de recherche.