Überall nur Daten! Splunk (Teil 1)
Einführung in das Log- und Event-Management
Wer kennt es nicht, stundenlange Fehlersuche in Logfiles. Doch ist das noch zeitgemäß? Gibt es keine einfache Methode? Ein Google für Logfiles? Einfach, schnell und effizient? Hierbei unterstützen Log- und Event-Management-Systeme, die in der Lage sind, Logfiles und Ereignisse zu indizieren, korrelieren, visualisieren, auszuwerten und zu benachrichtigen. Ziel solcher Systeme ist:
- Die Sicherstellung eines stabilen Betriebes und Einhaltung von Service Leveln
- Transparenz von IT-Systemen bis hin zur Applikation
- schnelle Erkennung von Fehlern, Sicherheitsrisiken und Anomalien
- Ein detaillierter Überblick von Kunden-, Nutzer-, und Computerverhalten
- Überwachung von IT-Umgebungen, unabhängig von der Plattform oder dem Standort.
Splunk als führender Anbieter in den Bereichen Log- und Event- Management, SIEM und Operational Intelligence hat mit Splunk Enterprise die passende Lösung für alle diese Anforderungen. Gegenüber seinen Wettbewerbern zeichnet sich das Produkt durch ein Schema on the Fly aus. Das heißt, Daten müssen nicht vorab mühselig gefiltert werden, sondern das Schema der Daten wird zur Laufzeit abgefragt. Ferner sind Funktionen wie Berechtigungsmanagement, Export von Daten, automatisierte Reports und Alarme, Real Time Überwachung und ein nahtloses Scale Out bereits out of the box vorhanden. Von Vorteil ist auch eine lebhafte Community, die anderen Nutzern neue Plug-Ins zur Verfügung stellt.
Abbildung 1: Anwendungsbereiche
Die Abbildung 1 zeigt eine Auswahl von Anwendungsbereichen und Möglichkeiten eines Dashboards am Beispiel eines Online-Handels. Es gliedert sich in die 5 Splunk-Bereiche sowie eine kumulierte Ansicht. Die einzelnen Events können mittels Klick detailliert angezeigt werden, wenn notwendig bis auf den entsprechenden Logeintrag. Der Bereich Application Delivery zeigt einen Überblick zu einzelnen Applikationen und Diensten sowie deren Verhaltensmuster und Latenzen. So können z.B. Citrix-Umgebung, zwecks Optimierung der Logon-Zeiten analysiert oder Mailserver überwacht werden.
Der Bereich IT Operations umfasst die Überwachung der klassischen IT-Infrastruktur, wie Firewalls, Switche, Betriebssysteme, Storage Systeme und Load Balancer aber auch Basisapplikationen wie Webserver, Verzeichnisdienste, Identitiy Provider und Cloud Dienste. Hier werden die Mehrzahl an kostenfreien Plug-Ins (>500) geboten. Somit lassen sich z.B. Logauswertungen von Active Directory Controllern schnell und einfach ausführen. Somit finden Sie die Ursache für gesperrte Nutzerkonten innerhalb von Minuten. Im Bereich Security werden anormale Verhaltensmuster dargestellt, welche auf einen Angriff mittels SQL Injektion zurückzuführen sind. Business Analytics zeigt die Umsatzentwicklung des Unternehmens, diese basiert auf der Analyse der Webserver Logs. Der Bereich Internet of Things wertet im Beispiel Klima und Stromversorgungsdaten aus. Hierdurch lassen sich auch Rückschlüsse auf die Auslastung der Systeme treffen. Der Bereich Operational Intelligence stellt eine Übersicht der einzelnen Bereiche zur Verfügung. Die Einführung erfolgt Use Case bezogen. Hierbei empfiehlt sich folgende Vorgehensweise:
Abbildung 2: Vorgehensweise zur Einführung
Universal Forwarder eignen sich dank Ihrer geringen Anforderungen zur Installation auf Serversystemen (z.B. Web- und Mail- Server), um Daten wie z.B. Logfiles an ihrem Ursprung zu erfassen und weiterzuleiten. Diese sind für diverse Betriebssysteme und Plattformen verfügbar. Die Lizenz zur Nutzung ist bereits kostenfrei enthalten. Die Steuerung erfolgt mittels Command Line.
Indexer benötigen eine hohe Performance des Datenspeichers, welche in größeren Umgebungen 1200 IOPS pro System nicht unterschreiten sollte. Die Speicherung erfolgt in sogenannten Buckets, welche in Hot, Warm und Cold unterschieden werden. Ein entsprechendes Tiering kann eingerichtet werden.
Search Heads haben einen hohen CPU-Bedarf. Die Performance ist abhängig von der Anzahl paralleler Anfragen und User sowie der Berechnungsintensität der Aufgaben.
Suchabfragen
Ähnlich wie bei Google sind Operatoren aber auch eine spezielle Syntax notwendig, um eine Suchen schnell und effizient zu gestalten. Ferner bietet Splunk die Filterung auf Basis einer Zeitangabe und den Bezug auf einen Index, um Anfragen effizient zu gestalten. Unterstützt wird dies durch die „Fields“-Auswahl in der Suche. Dies ermöglicht Abfragen auch ohne tiefgreifende Splunk-Kenntnisse.
Ansprechpartner
