Introduction
Dans les articles précédents, nous nous sommes concentrés sur la recherche en texte intégral basée sur les mots-clés. La recherche en texte intégral est très efficace lorsque les utilisateurs peuvent saisir les mots-clés appropriés. Cependant, il existe des cas où la recherche par mots-clés seule ne peut pas répondre adéquatement à des besoins tels que « je ne sais pas quels mots-clés utiliser » ou « je souhaite obtenir une réponse à une question conceptuelle ».
Cet article organise le spectre des technologies de recherche et explique comment la recherche évolue de la recherche par mots-clés vers la recherche sémantique.
Public cible
Personnes intéressées par la recherche IA qui souhaitent organiser les concepts
Personnes envisageant l’introduction de la recherche sémantique
Personnes souhaitant comprendre les fonctionnalités liées à l’IA de Fess
Spectre des technologies de recherche
Les technologies de recherche forment un spectre allant du simple au plus avancé, comme présenté ci-dessous.
Limites de la recherche par mots-clés
La recherche par mots-clés est efficace dans de nombreuses situations, mais ses limites apparaissent dans les cas suivants.
Décalage de vocabulaire
Cela se produit lorsque les mots utilisés par les utilisateurs diffèrent de ceux utilisés dans les documents.
Exemple : Même si un utilisateur recherche « je veux changer la destination du virement de mon salaire », si le document interne utilise le terme « procédure de changement de compte salarial », les mots-clés peuvent ne pas correspondre.
Cela peut être partiellement résolu avec les synonymes (voir Partie 8), mais il n’est pas réaliste d’enregistrer toutes les combinaisons de vocabulaire possibles à l’avance.
Recherche conceptuelle
C’est le cas où les utilisateurs souhaitent effectuer une recherche par concept plutôt que par mots-clés spécifiques, comme « règles internes sur le télétravail ». Dans ce cas, divers documents liés peuvent être pertinents, y compris ceux portant sur le « travail à domicile », le « télétravail », les « règles de présence au bureau » et la « gestion du temps de travail ».
Fonctionnement de la recherche sémantique
Représentation vectorielle (Embedding)
Le fondement de la recherche sémantique est la conversion du texte en « vecteurs (tableaux de nombres) ». Ces vecteurs sont des représentations mathématiques du « sens » du texte.
Les textes ayant des significations similaires sont placés près les uns des autres dans l’espace vectoriel. Par exemple, les vecteurs de « chien » et « animal de compagnie » sont proches, tandis que les vecteurs de « chien » et « automobile » sont éloignés.
Fonctionnement de la recherche
L’utilisateur saisit une requête de recherche
La requête est convertie en vecteur
La similarité avec les vecteurs de documents dans l’index est calculée
Les documents sont renvoyés par ordre de similarité décroissante
Cela permet de trouver des documents sémantiquement liés même lorsque les mots-clés ne correspondent pas exactement.
Recherche sémantique dans Fess
Fess peut réaliser une recherche basée sur les vecteurs grâce à des plugins de recherche sémantique.
Activation de la recherche sémantique
Installer le plugin de recherche sémantique
Configurer le modèle d’embedding
Reconstruire l’index (vectoriser les documents existants)
Choix du modèle d’embedding
Sélectionnez un modèle (modèle d’embedding) pour convertir le texte en vecteurs.
Les critères de sélection sont les suivants :
Support linguistique : Capacité à traiter correctement la langue cible
Précision : Qualité des vecteurs (précision de la capture sémantique)
Vitesse : Temps nécessaire à la conversion
Coût : Frais d’utilisation de l’API, exigences matérielles
Recherche hybride : Rank Fusion
La recherche sémantique est puissante, mais pas omnipotente. Pour la recherche de noms propres ou dans les cas nécessitant une correspondance exacte, la recherche par mots-clés est plus appropriée.
Le concept de recherche hybride
La recherche hybride exécute à la fois la recherche par mots-clés et la recherche sémantique, puis intègre les résultats.
Fess utilise le Rank Fusion pour fusionner les résultats de différentes méthodes de recherche. Concrètement, l’algorithme RRF (Reciprocal Rank Fusion) garantit que les documents bien classés dans les deux résultats de recherche se retrouvent finalement en tête du classement.
Avantages de la recherche hybride
Combine la « fiabilité » de la recherche par mots-clés avec la « flexibilité » de la recherche sémantique
Les noms propres sont couverts par la recherche par mots-clés
Les recherches conceptuelles sont couvertes par la recherche sémantique
La qualité globale de la recherche s’améliore par rapport à l’utilisation d’une seule méthode
Critères d’adoption
La recherche sémantique ne doit pas nécessairement être introduite dans tous les environnements.
Cas où l’adoption devrait être envisagée
Il y a de nombreuses « requêtes sans résultats » dans les journaux de recherche
Les utilisateurs signalent qu’ils « ne connaissent pas les bons mots-clés »
Vous souhaitez prendre en charge les questions en langage naturel (un prérequis pour le RAG dans la Partie 19)
Vous souhaitez améliorer la recherche interlinguistique pour les documents multilingues
Cas où elle n’est pas encore nécessaire
Une qualité de recherche suffisante est obtenue avec la recherche par mots-clés + synonymes
Le nombre de documents est faible et les utilisateurs connaissent les mots-clés appropriés
Les ressources de calcul (GPU ou coûts d’API cloud) sont limitées
Adoption progressive
D’abord, améliorer la qualité avec la recherche par mots-clés + synonymes (Partie 8)
Si les requêtes sans résultats restent fréquentes, envisager la recherche sémantique
Utiliser la recherche hybride pour bénéficier des deux approches
Résumé
Cet article a organisé le chemin d’évolution de la recherche par mots-clés vers la recherche sémantique.
Le spectre des technologies de recherche (mots-clés -> floue -> synonymes -> sémantique -> hybride)
Le fonctionnement de la recherche sémantique (représentation vectorielle et calcul de similarité)
La recherche sémantique et la recherche hybride dans Fess (Rank Fusion)
Les critères d’adoption et une approche progressive
Dans le prochain article, nous développerons davantage la recherche sémantique et construirons un assistant IA utilisant le RAG.