Introducción
En los artículos anteriores, nos hemos centrado en la búsqueda de texto completo basada en palabras clave. La búsqueda de texto completo es muy eficaz cuando los usuarios pueden introducir las palabras clave adecuadas. Sin embargo, hay casos en los que la búsqueda por palabras clave por si sola no puede responder adecuadamente a necesidades como «no sé qué palabras clave usar para buscar» o «quiero respuestas a preguntas conceptuales».
En este artículo, organizamos el espectro de las tecnologías de búsqueda y explicamos cómo evoluciona la búsqueda desde la búsqueda por palabras clave hasta la búsqueda semántica.
Audiencia objetivo
Personas interesadas en la búsqueda con IA que desean organizar los conceptos
Personas que están considerando la introducción de la búsqueda semántica
Personas que desean comprender las funciones relacionadas con la IA de Fess
Espectro de las tecnologías de búsqueda
Las tecnologías de búsqueda forman un espectro que va de lo simple a lo avanzado, como se muestra a continuación.
Limitaciones de la búsqueda por palabras clave
La búsqueda por palabras clave es eficaz en muchas situaciones, pero muestra sus limitaciones en los siguientes casos.
Discrepancia de vocabulario
Esto ocurre cuando las palabras utilizadas por los usuarios difieren de las palabras utilizadas en los documentos.
Ejemplo: Incluso si un usuario busca «quiero cambiar el destino de la transferencia de mi salario», si el documento interno utiliza el término «procedimiento de cambio de cuenta salarial», es posible que las palabras clave no coincidan.
Esto se puede abordar parcialmente con sinónimos (véase la Parte 8), pero no es práctico registrar todas las combinaciones de vocabulario posibles de antemano.
Búsqueda conceptual
Este es el caso en el que los usuarios desean buscar por concepto en lugar de por palabras clave específicas, como «reglas internas sobre el trabajo remoto». En este caso, diversos documentos relacionados pueden ser relevantes, incluyendo los que tratan sobre «trabajo desde casa», «teletrabajo», «reglas de asistencia a la oficina» y «gestión de horarios».
Cómo funciona la búsqueda semántica
Representación vectorial (Embedding)
La base de la búsqueda semántica es la conversión de texto en «vectores (matrices de números)». Estos vectores son representaciones matemáticas del «significado» del texto.
Los textos con significados similares se colocan cerca unos de otros en el espacio vectorial. Por ejemplo, los vectores de «perro» y «mascota» están cerca, mientras que los vectores de «perro» y «automóvil» están lejos.
Funcionamiento de la búsqueda
El usuario introduce una consulta de búsqueda
La consulta se convierte en un vector
Se calcula la similitud con los vectores de documentos en el índice
Los documentos se devuelven en orden de mayor similitud
Esto permite encontrar documentos semánticamente relacionados incluso cuando las palabras clave no coinciden exactamente.
Búsqueda semántica en Fess
Fess puede lograr una búsqueda basada en vectores a través de plugins de búsqueda semántica.
Activación de la búsqueda semántica
Instalar el plugin de búsqueda semántica
Configurar el modelo de embedding
Reconstruir el índice (vectorizar los documentos existentes)
Elección del modelo de embedding
Seleccione un modelo (modelo de embedding) para convertir texto en vectores.
Los criterios de selección son los siguientes:
Soporte de idiomas: Si puede manejar adecuadamente el idioma objetivo
Precisión: Calidad de los vectores (precisión en la captura del significado)
Velocidad: Tiempo requerido para la conversión
Coste: Tarifas de uso de API, requisitos de hardware
Búsqueda híbrida: Rank Fusion
La búsqueda semántica es potente, pero no omnipotente. Para buscar nombres propios o en casos que requieren coincidencia exacta, la búsqueda por palabras clave es más apropiada.
El concepto de búsqueda híbrida
La búsqueda híbrida ejecuta tanto la búsqueda por palabras clave como la búsqueda semántica, y luego integra los resultados.
Fess utiliza Rank Fusion para fusionar los resultados de diferentes métodos de búsqueda. En concreto, el algoritmo RRF (Reciprocal Rank Fusion) asegura que los documentos que ocupan posiciones altas en ambos resultados de búsqueda se clasifiquen finalmente en las primeras posiciones.
Ventajas de la búsqueda híbrida
Combina la «fiabilidad» de la búsqueda por palabras clave con la «flexibilidad» de la búsqueda semántica
Los nombres propios se cubren con la búsqueda por palabras clave
Las búsquedas conceptuales se cubren con la búsqueda semántica
La calidad general de la búsqueda mejora en comparación con el uso exclusivo de uno de los dos métodos
Criterios para la adopción
La búsqueda semántica no debe introducirse necesariamente en todos los entornos.
Casos en los que se debe considerar la adopción
Hay muchas «consultas sin resultados» en los registros de búsqueda
Los usuarios informan que «no conocen las palabras clave adecuadas»
Se desea soportar preguntas en lenguaje natural (un prerrequisito para RAG en la Parte 19)
Se desea mejorar la búsqueda entre idiomas para documentos multilingües
Casos en los que aún no es necesaria
Se obtiene una calidad de búsqueda suficiente con búsqueda por palabras clave + sinónimos
El número de documentos es reducido y los usuarios conocen las palabras clave apropiadas
Los recursos de cómputo (GPU o costes de API en la nube) son limitados
Adopción gradual
Primero, mejorar la calidad con búsqueda por palabras clave + sinónimos (Parte 8)
Si las consultas sin resultados siguen siendo frecuentes, considerar la búsqueda semántica
Utilizar la búsqueda híbrida para beneficiarse de ambos enfoques
Resumen
En este artículo, hemos organizado el camino de evolución desde la búsqueda por palabras clave hasta la búsqueda semántica.
El espectro de las tecnologías de búsqueda (palabras clave -> difusa -> sinónimos -> semántica -> híbrida)
Cómo funciona la búsqueda semántica (representación vectorial y cálculo de similitud)
Búsqueda semántica y búsqueda híbrida en Fess (Rank Fusion)
Criterios para la adopción y un enfoque gradual
En el próximo artículo, desarrollaremos aun más la búsqueda semántica y construiremos un asistente de IA utilizando RAG.