Einführung
Wenn Sie Fess zunachst in kleinem Umfang einführen, entstehen mit wachsender Nutzung unweigerlich Anforderungen wie „mehr Dokumente“, „mehr Benutzer“ und „schnellere Suche“.
In diesem Artikel werden die Strategien und Entscheidungskriterien für die schrittweise Skalierung von einer kleinen Einzelserver-Konfiguration bis hin zu einer großen Cluster-Konfiguration erläutert.
Zielgruppe
Personen, die einen großangelegten Fess-Betrieb planen
Personen, die mit Leistungsproblemen konfrontiert sind
Personen, die die grundlegenden Konzepte von OpenSearch-Clustern verstehen möchten
Skalierungsstufen
Die Skalierung von Fess erfolgt typischerweise in den folgenden Stufen.
Stufe S: Einzelserver-Konfiguration
Dies entspricht der in Teil 2 erstellten Docker Compose-Konfiguration. Fess und OpenSearch laufen auf demselben Server.
Einsatzszenarien
Ersteinrichtung, PoC, kleine bis mittelgroße Organisationen
Dokumentenanzahl von 1 Million oder weniger
Wenige gleichzeitige Suchbenutzer
Tuning-Punkte
JVM-Heap-Anpassung
Stellen Sie die JVM-Heap-Größe für Fess und OpenSearch jeweils angemessen ein.
Fess: Maximal 2 GB (Standard; anfänglicher Heap beträgt 256 MB)
OpenSearch: 50 % oder weniger des physischen Speichers, jedoch nicht mehr als 32 GB
Thread-Pool
Passen Sie die Anzahl der Crawl-Threads entsprechend der CPU-Kernanzahl des Servers an.
Stufe M: Getrennte Konfiguration
Trennen Sie den Fess-Server und den OpenSearch-Server physisch.
Einsatzszenarien
Wenn die Anzahl gleichzeitiger Suchbenutzer steigt und die Suchleistung während des Crawlings zum Problem wird
Wenn Arbeitsspeicher oder CPU in Stufe S knapp werden
Konfiguration
Ändern Sie in den Fess-Einstellungen das OpenSearch-Verbindungsziel auf den externen Server.
Vorteile
Beseitigung der Ressourcenkonflikte zwischen Fess (Crawl-Verarbeitung) und OpenSearch (Suchverarbeitung)
Optimale Ressourcenzuweisung (CPU, Arbeitsspeicher) für jeden Server möglich
Unabhängige Festplatten-I/O des OpenSearch-Servers
Stufe L: Cluster-Konfiguration
Konfigurieren Sie OpenSearch als Cluster, um die Suchredundanz und Leistung zu verbessern.
Einsatzszenarien
Dokumentenanzahl von 1 Million bis 10 Millionen
Wenn hohe Verfügbarkeit erforderlich ist
Wenn die Verbesserung der Suchantwortzeiten notwendig ist
Konfigurationsbeispiel
Der OpenSearch-Cluster verteilt und repliziert Daten mithilfe der Konzepte von Shards und Replicas.
Shards: Aufteilen des Index und Verteilung auf mehrere Knoten (schnellere Verarbeitung durch Parallelisierung)
Replicas: Aufbewahrung von Shard-Kopien auf anderen Knoten (Redundanz bei Ausfällen + Parallelisierung der Suche)
Konfigurationshinweise
Anzahl der Shards: Entsprechend der Dokumentenanzahl und Suchleistung einstellen (Richtwert: 10-50 GB pro Shard)
Anzahl der Replicas: Mindestens 1 (zur Sicherstellung der Redundanz)
Anzahl der Knoten: Mindestens 3 (Quorum für die Master-Wahl)
Stufe XL: Multi-Instanz-Konfiguration
Konfigurieren Sie mehrere Fess-Instanzen, um die Crawl- und Suchverarbeitung zu verteilen.
Einsatzszenarien
Dokumentenanzahl übersteigt 10 Millionen
Große Crawl-Jobs müssen parallel ausgeführt werden
Hochfrequente Suchanfragen
Konfigurationsbeispiel
Ab Fess 15.6 ermöglicht die Funktion für verteilte Koordination die exklusive Steuerung von Wartungsoperationen (wie Indexneuaufbau und -leerung) über mehrere Fess-Instanzen hinweg.
Entscheidungsflussdiagramm für die Skalierung
Wenn Leistungsprobleme auftreten, identifizieren Sie die Ursache und erwägen Sie Gegenmaßnahmen in der folgenden Reihenfolge.
1. Wenn die Suche langsam ist
Überprüfen Sie den OpenSearch-Clusterstatus
Überprüfen Sie die JVM-Heap-Auslastung
Überprüfen Sie die Indexgröße
-> Stufe M (Trennung) oder Stufe L (Clustering) in Betracht ziehen
2. Wenn das Crawling langsam ist oder nicht abgeschlossen wird
Überprüfen Sie die Anzahl der zu crawlenden Dokumente
Passen Sie die Thread-Anzahl und das Intervall an
Überprüfen Sie die Auswirkungen auf die Suche während des Crawlings
-> Stufe M (Trennung) oder Stufe XL (dedizierte Crawl-Instanz) in Betracht ziehen
3. Wenn viele gleichzeitige Zugriffe vorliegen
Überwachen Sie die Suchantwortzeiten
Überprüfen Sie die CPU-Auslastung des Fess-Servers
-> Stufe XL (Load Balancer + mehrere Instanzen) in Betracht ziehen
JVM-Tuning
In jeder Stufe hat das JVM-Tuning einen erheblichen Einfluss auf die Leistung.
Wichtige Parameter
Richtwerte für die Heap-Größe
1 Million oder weniger: 2-4 GB
1 Million bis 5 Millionen: 8 GB
5 Millionen bis 10 Millionen: 16 GB
10 Millionen oder mehr: 32 GB oder mehr (OpenSearch-Seite)
Zusammenfassung
In diesem Artikel wurden die schrittweisen Skalierungsstrategien für Fess erläutert.
Stufe S: Einzelserver (bis zu 1 Million Dokumente)
Stufe M: Fess / OpenSearch-Trennung (bis zu 1 Million Dokumente, Unterstützung mehrerer Benutzer)
Stufe L: OpenSearch-Clustering (1 Million bis 10 Millionen Dokumente)
Stufe XL: Fess Multi-Instanz (10 Millionen Dokumente oder mehr)
Entscheidungsflussdiagramm für die Skalierung und JVM-Tuning
Mit dem Ansatz „klein anfangen und bei Bedarf wachsen“ können Sie entsprechend den Anforderungen skalieren und dabei die Kosten unter Kontrolle halten.
Im nächsten Artikel wird die Sicherheitsarchitektur behandelt.