Introduction
Les données importantes d’une entreprise ne sont pas uniquement stockées sur des serveurs de fichiers et dans le stockage cloud, mais également dans des applications SaaS et des bases de données. Les informations clients dans Salesforce, les données de référence produit dans les bases de données internes, les données de listes gérées dans des fichiers CSV – ces données ne sont généralement recherchables que dans leurs systèmes respectifs.
Cet article traite des scénarios d’importation des données SaaS et de bases de données dans l’index Fess, permettant une recherche transversale avec les autres documents.
Public cible
Ceux qui souhaitent inclure les informations SaaS et de bases de données dans les résultats de recherche
Ceux qui souhaitent apprendre à utiliser les plugins de data store
Ceux qui souhaitent construire une plateforme de recherche couvrant plusieurs sources de données
Scénario
Une organisation commerciale a ses données réparties dans les systèmes suivants.
L’objectif est de permettre la recherche transversale de toutes ces données avec Fess, afin que les informations nécessaires aux activités commerciales puissent être trouvées depuis un seul champ de recherche.
Intégration des données Salesforce
Pour rendre les données Salesforce recherchables dans Fess, utilisez le plugin de data store Salesforce.
Installation du plugin
Accédez à [Système] > [Plugins] dans le panneau d’administration
Installez
fess-ds-salesforce
Paramètres de connexion
L’intégration avec Salesforce nécessite la configuration d’une Connected App.
Préparation côté Salesforce
Créez une Connected App dans les paramètres Salesforce
Activez les paramètres OAuth
Obtenez la clé et le secret du consommateur
Configuration côté Fess
Accédez à [Crawler] > [Data Store] > [Créer nouveau]
Nom du handler : Sélectionnez SalesforceDataStore
Configurez les paramètres et les scripts
Label : Définissez
salesforce
Exemple de configuration des paramètres
Exemple de configuration du script
Pour auth_type, spécifiez oauth_password (authentification par nom d’utilisateur/mot de passe) ou oauth_token (authentification par jeton JWT Bearer). Lors de l’utilisation de l’authentification JWT, définissez la clé privée RSA dans private_key.
Sélection des données cibles
Salesforce contient de nombreux objets, mais il n’est pas nécessaire de tous les rendre recherchables. Concentrez-vous sur les objets que l’équipe commerciale recherche fréquemment.
Intégration des bases de données
Pour rendre les données de bases de données internes recherchables, utilisez le plugin de data store de base de données.
Installation du plugin
Installez le plugin fess-ds-db. Ce plugin peut se connecter à diverses bases de données (MySQL, PostgreSQL, Oracle, SQL Server, etc.) via JDBC.
Configuration
Accédez à [Crawler] > [Data Store] > [Créer nouveau]
Nom du handler : Sélectionnez DatabaseDataStore
Configurez les paramètres et les scripts
Label : Définissez
database
Exemple de configuration des paramètres
Exemple de configuration du script
Les résultats de la requête SQL spécifiée dans sql sont explorés. Dans les scripts, utilisez les noms de colonnes SQL (ou les libellés de colonnes) pour les mapper aux champs de l’index Fess.
Conception des requêtes SQL
Points clés lors de la conception de la requête SQL pour le paramètre sql :
Incluez une colonne
urlservant de destination du lien dans les résultats de recherche (par ex.,CONCAT('https://.../', id) AS url)Incluez les colonnes servant de corps de texte recherchable
Utilisez une clause
WHEREpour exclure les données inutiles (par ex.,status = 'active')
Dans les scripts, utilisez directement les noms de colonnes SQL pour les mapper aux champs de l’index Fess.
Intégration des fichiers CSV
Les données des fichiers CSV peuvent également être rendues recherchables.
Configuration
Utilisez le plugin fess-ds-csv ou la fonctionnalité du data store CSV.
Accédez à [Crawler] > [Data Store] > [Créer nouveau]
Nom du handler : Sélectionnez CsvDataStore
Configurez les paramètres et les scripts
Label : Définissez
csv-data
Exemple de configuration des paramètres
Exemple de configuration du script (utiliser les noms de colonnes lorsqu’une ligne d’en-tête est présente)
Lorsque has_header_line=true, les noms de colonnes de la ligne d’en-tête peuvent être utilisés dans les scripts. En l’absence de ligne d’en-tête, les colonnes sont référencées par numéro, comme cell1, cell2, cell3. Les scripts peuvent contenir des expressions Groovy, y compris la concaténation de chaînes.
Si les fichiers CSV sont mis à jour régulièrement, fixez l’emplacement des fichiers et configurez un calendrier d’exploration pour que les données les plus récentes soient automatiquement reflétées dans l’index.
Recherche transversale
Une fois toutes les configurations de sources de données terminées, vous pouvez expérimenter la recherche transversale.
Exemple de recherche
En recherchant « ABC Corporation », des résultats tels que les suivants sont retournés :
Informations de compte Salesforce (Account)
Propositions du serveur de fichiers (PDF)
Historique d’achats de produits de la base de données
Liste de participants au salon professionnel du CSV
Les utilisateurs peuvent trouver les informations dont ils ont besoin sans avoir à savoir où elles sont stockées.
Filtrage par label
Lorsqu’il y a de nombreux résultats de recherche, utilisez les labels pour les affiner.
salesforce: Données Salesforce uniquementdatabase: Données de base de données uniquementcsv-data: Données CSV uniquementshared-files: Documents du serveur de fichiers uniquement
Considérations opérationnelles
Fraîcheur des données
Les données SaaS et de bases de données peuvent être mises à jour fréquemment. Configurez la fréquence d’exploration de manière appropriée pour maintenir la fraîcheur des résultats de recherche.
Sécurité de la connexion à la base de données
Lorsque vous vous connectez directement à une base de données, portez une attention particulière à la sécurité.
Utilisez un utilisateur de base de données en lecture seule
Restreignez les connexions à l’adresse IP du serveur Fess
N’accordez pas de permissions d’accès aux tables inutiles
Soyez vigilant quant à la gestion des mots de passe
Synthèse
Cet article a couvert les scénarios pour rendre les données de Salesforce, des bases de données et des fichiers CSV recherchables avec Fess.
Intégration des données CRM via le plugin de data store Salesforce
Intégration de la BD interne via le plugin de data store de base de données
Intégration des données de listes via le data store CSV
Mappage des champs et conception des requêtes SQL
Exploitation des labels dans la recherche transversale
En éliminant les silos de données, vous pouvez réaliser un environnement où toutes les sources d’information sont recherchables depuis une seule plateforme. Ceci conclut la section Solutions Pratiques. À partir de la prochaine partie, nous aborderons la section Architecture et Mise à l’échelle, en commençant par la conception multi-tenant.