Einleitung
Wenn die Konfiguration eines Suchsystems manuell verwaltet wird, wird die Reproduktion von Umgebungen schwierig und das Risiko von Konfigurationsfehlern steigt. Durch die Anwendung moderner DevOps-Methoden sollten Sie auch die Suchinfrastruktur als Code verwalten und automatisieren.
In diesem Artikel wird ein Ansatz vorgestellt, wie Sie Fess-Konfigurationen als Code verwalten und Deployments automatisieren.
Zielgruppe
Personen, die den Betrieb von Suchsystemen automatisieren möchten
Personen, die DevOps/IaC-Methoden auf die Suchinfrastruktur anwenden möchten
Personen mit Grundkenntnissen in Docker und CI/CD
Anwendung von Infrastructure as Code
Die folgenden Elemente werden für Fess-Umgebungen als „Code“ verwaltet.
Umgebungsdefinition mit Docker Compose
Docker-Compose-Datei für die Produktionsumgebung
Wir erweitern die in Teil 2 verwendete Grundkonfiguration und definieren eine für Produktionsumgebungen geeignete Konfiguration.
Die wichtigsten Punkte sind die folgenden.
Health-Check-Definition: Fess wird erst gestartet, wenn OpenSearch bereit ist
Volume-Persistenz: Daten werden dauerhaft gespeichert
Neustartrichtlinie: Automatische Wiederherstellung bei Ausfällen
Explizite Konfiguration des JVM-Heaps
Automatisierung der Konfiguration mit der Admin-API
Durch die Verwendung der Fess-Admin-API können Sie Konfigurationen programmatisch verwalten, ohne die GUI zu verwenden.
Einstellungen exportieren
Exportieren Sie die aktuellen Fess-Einstellungen und speichern Sie sie als Code.
Sie können den Export über die Administrationskonsole unter [Systeminformationen] > [Backup] durchführen. Es ist auch möglich, den Export über Skripte mit der Admin-API durchzuführen.
Einstellungen importieren
Wenden Sie Einstellungen auf eine neue Fess-Umgebung an, indem Sie gespeicherte Konfigurationsdateien verwenden. Dies erleichtert die Wiederherstellung oder Replikation von Umgebungen.
Verwendung der fessctl-CLI
fessctl ist ein Kommandozeilenwerkzeug für Fess. Viele Operationen, die in der Administrationskonsole durchgeführt werden können, lassen sich auch über die Kommandozeile ausführen.
Hauptoperationen
Erstellen, Aktualisieren und Löschen von Crawl-Einstellungen (Web, Dateisystem, Datenspeicher)
Ausführen von Scheduler-Jobs
Verwaltung von Benutzern, Rollen und Gruppen
Verwaltung von Sucheinstellungen wie Key Match, Labels und Boosts
Durch die Verwendung der CLI können Sie Konfigurationsänderungen skripten und in CI/CD-Pipelines integrieren.
Aufbau von CI/CD-Pipelines
Workflow für Konfigurationsänderungen
Verwalten Sie Konfigurationsänderungen des Suchsystems mit dem folgenden Workflow.
Änderung: Konfigurationsdateien ändern und in einem Git-Branch verwalten
Review: Änderungen über Pull Requests überprüfen
Test: Verhalten in einer Staging-Umgebung verifizieren
Deployment: Einstellungen in der Produktionsumgebung anwenden
Automatisierungsbeispiel mit GitHub Actions
Dies ist ein Beispiel für die automatische Anwendung von Änderungen in der Produktionsumgebung, wenn Konfigurationsdateiänderungen gemergt werden.
Automatisierung von Backups
Automatisieren Sie auch regelmäßige Backups.
Backup-Skript
Verwenden Sie cron oder CI/CD-Planungsfunktionen, um regelmäßige Backups zu erstellen.
Verfahren zur Umgebungsrekonstruktion
Dokumentieren Sie das Verfahren zur vollständigen Rekonstruktion einer Umgebung für die Notfallwiederherstellung oder den Aufbau von Testumgebungen.
Container mit Docker Compose starten
Warten, bis der OpenSearch-Health-Check green/yellow zurückgibt
Fess-Einstellungen importieren (über Admin-API oder Wiederherstellungsfunktion)
Wörterbuchdateien platzieren
Crawl-Jobs ausführen
Betrieb verifizieren (Suchtests)
Wenn Sie dieses Verfahren skripten, können Sie Umgebungen schnell rekonstruieren.
Zusammenfassung
In diesem Artikel wurde ein Ansatz vorgestellt, wie Sie die Fess-Suchinfrastruktur mit DevOps-Methoden verwalten können.
Kodifizierung von Umgebungsdefinitionen mit Docker Compose
Automatisierung der Konfiguration mit der Admin-API und fessctl
Automatisierung des Deployments von Konfigurationsänderungen mit CI/CD-Pipelines
Automatisierung von Backups und Verfahren zur Umgebungsrekonstruktion
Entwickeln Sie den Betrieb Ihrer Suchinfrastruktur von „Handbücher lesen und manuell konfigurieren“ zu „Code ausführen und automatisch deployen“ weiter.
Im nächsten Artikel wird die Erweiterung von Fess durch Plugin-Entwicklung behandelt.