Elasticsearch und den Elastic Stack (früher ELK Stack genannt) gibt es jetzt schon einige Jahre, also quasi eine halbe Ewigkeit in der IT. Der Elastic Stack wird vom amerikanischen Unternehmen Elastic angeboten und basiert im Untergrund auf Apache Lucene und Java. Ich habe Elasticsearch schon einige Zeit auf dem Radar, doch bisher habe ich mit Elasticsearch nur grobe Erfahrungen gesammelt: nämlich im Einsatz als Search Appliance für Near Real Time-Suchen im Web (also Suchen fast in Echtzeit). Wirklich intensiv habe ich mich mit Elasticsearch bis jetzt nicht beschäftigt. Doch das ändert sich gerade.

Derzeit gehören diese kostenfreie Produkte zum Elastic Stack:

• Beats (schleust Daten aus verschiedensten Quellen weiter)
• Logstash (pipelined Daten, reichert Daten an, filtert Daten heraus)
• Elasticsearch (speichert Daten und liefert sie zurück – das Kernprodukt)
• Kibana (visualisiert Daten und hilft beim Umgang mit Elasticsearch)

Der Elastic Stack ist Linux-basiert und man muss sich um die Installation und den Betrieb selbst kümmern: Zum Beispiel direkt in einem Rechenzentrum von Interxion oder bei einem Hoster wie AWS. Entweder als Direktinstallation oder man schaufelt die Produkte jeweils in einen Docker-Container (was der bevorzugte Weg ist). Man kann aber auch Windows-Systeme ganz leicht anbinden. Zu den kostenfreien Barebone-Produkten aus dem Elastic Stack gibt es dann noch kostenpflichtige Ergänzungen. Denn schließlich wollen Hunderte Angestellte von Elastic auch irgendwie bezahlt werden:

• X-Pack als Erweiterungspaket für den Elastic Stack (für kostenfreies Ondevice-Monitoring bzw. kostenpflichtige Erweiterungen zur Absicherung vom Elastic Stack und zur Datenanalyse)
• Elastic Cloud als von Elastic direkt gehostete Version (Versionsupgrades geschehen für den Endnutzer unbemerkt und man erhält vollen Support)
• Elastic Enterprise Cloud (wie Elastic Cloud, nur kann man diese in seinem eigenen Rechenzentrum managen)

Elasticsearch ist der Hauptgrund für den großen Erfolg der Software, denn hiermit begann alles. Mit Elasticsearch kann man Informationen massenweise verarbeiten, durchsuchen und anzeigen. Und zwar so, als würde man Daten wie in einer Datenbank organisieren: Man kippt Daten strukturiert in Elasticsearch hinein und holt sie anschließend wieder heraus – aber rasend schnell im Vergleich zu einer Datenbank. Und Elasticsearch hat Clustering direkt eingebaut, d.h. Daten werden standardmäßig über mehrere Server hinweg verteilt.

Elasticsearch als Suchmaschine für Inhalte
Im Gegensatz zu einer Datenbank kennt Elasticsearch weder Primärschlüssel noch Relationen. Daher eignet sich Elasticsearch nicht als primärer Speicherort für Daten, diese bleiben beispielsweise weiterhin in einer Datenbank. Doch weil Datenbanken langsam sind, nutzt man Elasticsearch als Suchmaschine: Die Datenbankinhalte und Dokumente, die durchsuchbar sein sollen, werden in Elasticsearch indexiert und beispielsweise über ein Webfrontend abgerufragt. Das Besondere hierbei: Man kann irre schnell nach Daten sowie Texten suchen und Ergebnisse werden dabei nach Wichtigkeit gerankt. Fast so wie bei Google.

Doch Elasticsearch kann mehr als nur Texte suchen und ranken.

Elasticsearch zur Logaggregation
Die meisten Anwender nutzen Elastissearch heute wegen der Zusatzprodukte aus dem Elastic Stack. Denn hiermit laufen Daten aus unterschiedlichsten Quellen zentral und plattformübergreifend zusammen. Die Elasticsearch-Software frisst, was ihr zum Fressen geben: Anmeldeversuche an einem Betriebssystem, CPU-Last von Computern, die Anzahl von Zugriffen auf Webseiten oder die Integrität von Dateien auf der Festplatte. Elasticsearch ist also optimal für große Datenmengen: Stichwort Big Data. Sammelt man alle Datenquellen zentral und stellt an die korrekten Abfragen ein, dann erkennt man völlig neue Zusammenhänge oder Probleme werden bereits in den Daten sichtbar, bevor sie beim Endnutzer erkennbar werden.

Alles weitere über Elastic Stack gibt auf den Webseiten von Elastic.

Ein kleiner Tipp für alle, die sich für Elasticsearch interessieren: Einen ersten Einstieg gibt es über kostenfreie Erklärvideos bei Youtube. Doch wer tiefer einsteigen will, braucht kostenpflichtige Fortbildungen und Zertifizierungen. Meine Grundlagenkenntnisse im Bereich Elasticsearch habe ich bei der Linux Academy erlangt.

Bei der Linux Academy schaut man nicht nur einfach Lernvideos, sondern es gibt praktische Übungen mit Testservern und Abfragen zum Gelernten. Erst wenn man alle Fragen in dem Training beantwortet, erreicht man auch das Fortbildungsziel.

Ansonst gilt: Nur wer das Wissen um Elasticsearch in der Praxis anwendet, wird es sinnvoll nutzen können.