Machine Learning mit Splunk

Einführung in Machine Learning mit Splunk

Machine Learning wird als derzeitiges Hype-Thema gesehen. Es soll den Unternehmen helfen, bessere Entscheidungen zu treffen, Ausfälle zu vermeiden oder zumindest Fehler schneller zu finden und zu minimieren. So beschäftigen sich z.B. Versicherungen seit Jahren mit Eintrittswahrscheinlichkeiten von Ereignissen und Einflussfaktoren, um Ihre Tarife möglichst wirtschaftlich zu gestalten.

Maschinelles Lernen ist ein Prozess zur Verallgemeinerung anhand von Beispielen. Diese Verallgemeinerungen, die normalerweise als Modelle bezeichnet werden, finden Verwendung, um eine Vielzahl von Aufgaben auszuführen. So z.B. das Vorhersagen des Wertes eines Feldes, Vorhersagen zukünftiger Werte, das Identifizieren von Mustern in Daten und das Erkennen von Anomalien innerhalb von neuen Daten.

Hierbei wird in 3 Einsatzszenarien unterschieden:

Das Erkennen von Anomalien, basierend auf der Abweichung zum bisherigen Verhalten
Vorhersagen von Ereignissen durch Korrelation von Einflüssen und statistischen Wahrscheinlichkeiten
Das Clustern von gleichartigen Ereignissen zur Fokussierung auf kritische Ereignisse und Reduktion der Gesamtanzahl

Damit eine Analyse gelingt, benötigt man möglichst viele Daten vom Analyseobjekt als auch Fachpersonal.

Im Falle von Splunk sind das:

Personen aus dem Fachbereich zur Vorgabe der Anwendungsfälle
Splunk-Spezialisten
Machine-Learning-Spezialist mit Expertise im Bereich Data Science und Statistik zur Auswahl von Modellen und Algorithmen

Ein großer Vorteil von Splunk liegt im Onboarding und der Aufbereitung von Daten. Ist dies doch der zeitaufwendigste und unbeliebteste Teil für die Data Scientists mit 79% des Zeitaufwandes. Im Idealfall liegen diese Daten in Splunk schon vor. Die Architektur von Splunk erlaubt es, die Daten dann zur Suche mittels Machine Learning zu analysieren.

Abbildung 1: Integration von ML in Splunk

Bei der Analyse kann in folgende 3 Arten unterschieden werden:

Supervised Learning – hierbei lernt das System über mit Tags versehene Daten die Klassifizierung von Merkmalen. Diese werden dann für die weitere Datenanalyse angewendet, wenn die Trefferquote das gewünschte Level erreicht hat. Das Ergebnis dieses Lernprozesses ist im Voraus bereits klar definiert. Diese Art kommt z.B. bei der Analyse von Bildern zum Einsatz.
Unsupervised Learning – setzt auf Gruppierung von Ereignissen und Anomalieerkennung mittels mathematischer Modelle. Einsatzszenarien sind z.B. die Erkennung von Betrugsversuchen, Warenkorbanalysen oder die optimale Planung von Wartungsterminen.
Mixed Models, bei denen beide Varianten kombiniert werden.

Splunk Enterprise setzt diese Funktionen bereits in den Premium Apps ein, bietet aber auch ein Machine Learning Tool Kit als App an, um eigene Analysen zu entwickeln. Mit dem Machine Learning Toolkit (MLTK) können Benutzer maschinelle Lernmodelle über eine geführte Benutzeroberfläche erstellen, validieren, verwalten und in den operativen Betrieb überführen. Hierbei können über 30 gängige Algorithmen und Zugriff auf mehr als 300 beliebte Open-Source-Algorithmen über die Python for Scientific Computing-Bibliothek genutzt sowie andere Frameworks wie z.B. Tensorflow, PyTorch oder sciPy integriert werden.

Einsatzszenarien für solche Analysen können Vorhersagen, z.B. von Call-Aufkommen in einer Hotline sein, wie das folgende Beispiel aus dem MLTK zeigt:

Abbildung 2: Vorhersage des Anrufer-Aufkommens

Neben den bereits eingebauten Beispielen besteht die Möglichkeit, eigene Datenexperimente durchzuführen. Hierfür sind unterschiedliche Assistenten integriert, welche Analysen mit geringen Splunk-Kenntnissen erlauben.

Die Genauigkeit der Vorhersagen ist hierbei abhängig von der Qualität der Daten und der Datenmenge sowie den vorgegebenen Parametern.

Kontaktieren Sie uns, wenn Sie mehr über Machine Learning mit Splunk erfahren wollen oder erste Versuche unternehmen wollen.

Weiterführende Informationen:

Log- und Event-Management