Überall nur Daten! Splunk (Teil 1)

Einführung in das Log- und Event-Management

Wer kennt es nicht, stundenlange Fehlersuche in Logfiles. Doch ist das noch zeitgemäß? Gibt es keine einfache Methode? Ein Google für Logfiles? Einfach, schnell und effizient? Hierbei unterstützen Log- und Event-Management-Systeme, die in der Lage sind, Logfiles und Ereignisse zu indizieren, korrelieren, visualisieren, auszuwerten und zu benachrichtigen. Ziel solcher Systeme ist:

Die Sicherstellung eines stabilen Betriebes und Einhaltung von Service Leveln
Transparenz von IT-Systemen bis hin zur Applikation
schnelle Erkennung von Fehlern, Sicherheitsrisiken und Anomalien
Ein detaillierter Überblick von Kunden-, Nutzer-, und Computerverhalten
Überwachung von IT-Umgebungen, unabhängig von der Plattform oder dem Standort.

Splunk als führender Anbieter in den Bereichen Log- und Event- Management, SIEM und Operational Intelligence hat mit Splunk Enterprise die passende Lösung für alle diese Anforderungen. Gegenüber seinen Wettbewerbern zeichnet sich das Produkt durch ein Schema on the Fly aus. Das heißt, Daten müssen nicht vorab mühselig gefiltert werden, sondern das Schema der Daten wird zur Laufzeit abgefragt. Ferner sind Funktionen wie Berechtigungsmanagement, Export von Daten, automatisierte Reports und Alarme, Real Time Überwachung und ein nahtloses Scale Out bereits out of the box vorhanden. Von Vorteil ist auch eine lebhafte Community, die anderen Nutzern neue Plug-Ins zur Verfügung stellt.

Abbildung 1: Anwendungsbereiche

Die Abbildung 1 zeigt eine Auswahl von Anwendungsbereichen und Möglichkeiten eines Dashboards am Beispiel eines Online-Handels. Es gliedert sich in die 5 Splunk-Bereiche sowie eine kumulierte Ansicht. Die einzelnen Events können mittels Klick detailliert angezeigt werden, wenn notwendig bis auf den entsprechenden Logeintrag. Der Bereich Application Delivery zeigt einen Überblick zu einzelnen Applikationen und Diensten sowie deren Verhaltensmuster und Latenzen. So können z.B. Citrix-Umgebung, zwecks Optimierung der Logon-Zeiten analysiert oder Mailserver überwacht werden.

Der Bereich IT Operations umfasst die Überwachung der klassischen IT-Infrastruktur, wie Firewalls, Switche, Betriebssysteme, Storage Systeme und Load Balancer aber auch Basisapplikationen wie Webserver, Verzeichnisdienste, Identitiy Provider und Cloud Dienste. Hier werden die Mehrzahl an kostenfreien Plug-Ins (>500) geboten. Somit lassen sich z.B. Logauswertungen von Active Directory Controllern schnell und einfach ausführen. Somit finden Sie die Ursache für gesperrte Nutzerkonten innerhalb von Minuten. Im Bereich Security werden anormale Verhaltensmuster dargestellt, welche auf einen Angriff mittels SQL Injektion zurückzuführen sind. Business Analytics zeigt die Umsatzentwicklung des Unternehmens, diese basiert auf der Analyse der Webserver Logs. Der Bereich Internet of Things wertet im Beispiel Klima und Stromversorgungsdaten aus. Hierdurch lassen sich auch Rückschlüsse auf die Auslastung der Systeme treffen. Der Bereich Operational Intelligence stellt eine Übersicht der einzelnen Bereiche zur Verfügung. Die Einführung erfolgt Use Case bezogen. Hierbei empfiehlt sich folgende Vorgehensweise:

Abbildung 2: Vorgehensweise zur Einführung

Aufbau einer Splunk-Umgebung

Splunk passt sich den Anforderungen durch eine sehr gute Skalierung „vom Desktop bis zum Enterprise“ den Kundenanforderungen an. Kleinere Installationen bis maximal 20 GB pro Tag können auf einem Host oder innerhalb einer VM als Einzel-Instance verwaltet werden. Bei hohem Performancebedarf oder einem hohen Logvolumen empfiehlt es sich, die Funktionen aufzuteilen. Die wichtigsten 3 Hauptkomponenten hierfür sind:

Forwarder – Diese sammeln Daten von den Zielsystemen und leiten diese an einen oder mehrere Indexer weiter.
Indexer – Empfangen die Daten. Im weiteren Verlauf werden diese indexiert und gespeichert.
Search Head – stellen das Frontend zum User dar. Über diese werden Suchanfragen gestartet. Im weiteren verteilt diese Anfragen an die Indexer. Die Antworten der Indexer werden vom Search Head konsolidiert und dem Benutzer zur Verfügung gestellt. Hier können diese auch mittels Dashboards und Reports aufbereitet werden.

Das Zusammenspiel ist schematisch auf der folgenden Skizze (Abb. 3: Architektur) dargestellt.

Universal Forwarder eignen sich dank Ihrer geringen Anforderungen zur Installation auf Serversystemen (z.B. Web- und Mail- Server), um Daten wie z.B. Logfiles an ihrem Ursprung zu erfassen und weiterzuleiten. Diese sind für diverse Betriebssysteme und Plattformen verfügbar. Die Lizenz zur Nutzung ist bereits kostenfrei enthalten. Die Steuerung erfolgt mittels Command Line.

Indexer benötigen eine hohe Performance des Datenspeichers, welche in größeren Umgebungen 1200 IOPS pro System nicht unterschreiten sollte. Die Speicherung erfolgt in sogenannten Buckets, welche in Hot, Warm und Cold unterschieden werden. Ein entsprechendes Tiering kann eingerichtet werden.

Search Heads haben einen hohen CPU-Bedarf. Die Performance ist abhängig von der Anzahl paralleler Anfragen und User sowie der Berechnungsintensität der Aufgaben.

Suchabfragen

Ähnlich wie bei Google sind Operatoren aber auch eine spezielle Syntax notwendig, um eine Suchen schnell und effizient zu gestalten. Ferner bietet Splunk die Filterung auf Basis einer Zeitangabe und den Bezug auf einen Index, um Anfragen effizient zu gestalten. Unterstützt wird dies durch die „Fields“-Auswahl in der Suche. Dies ermöglicht Abfragen auch ohne tiefgreifende Splunk-Kenntnisse.

Fazit

Applikationen und Geschäftsprozesse sind heute abhängiger von der IT als je zuvor. Durch diverse Querverbindungen zwischen einzelnen Applikationen wird es zunehmend schwieriger und zeitaufwändiger Probleme zu identifizieren, Systeme zu überwachen und Ausfälle zu vermeiden. Klassische Verwaltungs- und Analyse-Werkzeuge sind nur für Teilbereiche ausgelegt oder sind zu unflexibel, um mit den anfallenden Daten und Veränderungen Schritt zu halten.

Die wachsende Anzahl an Log- und Event- Daten erfordert eine zentrale Sicht auf die anfallenden Daten, um diese systemübergreifend auszuwerten. Verringern Sie Ihre Betriebsaufwände und erhöhen Sie die Sicherheit durch die Einführung eines Log- und Event-Management-Systems. Optimieren Sie Vorgänge und Prozesse im Unternehmen, indem Sie vorhandene Daten nutzen und bisherige Abläufe beschleunigen.

Kontaktieren Sie uns, wenn Sie mehr wissen wollen.

Erfahren Sie im 2. Teil, wie Sie eine Angriffserkennung mit Splunk realisieren können inkl. eines praktischen Beispiels.