analytics

28.04.2021 | Werner Habicht

IoT Automatisierung und RZ-Analyse mit Splunk und Hitachi Vantara

Mit Splunk steht Unternehmen eine wirkungsvolle Data-to-Everything Plattform zur Verfügung, die aus riesigen Mengen von Maschinendaten wertvolle Analysen und Insights generiert, um mit Echtzeiteinblicken Geschäftsprozesse und -ergebnisse zu optimieren. Aber wie funktioniert Splunk genau und welche Vorteile bietet Hitachi Vantaras Produktpalette für Splunk Partner? Das möchte ich Ihnen erklären und aufzeigen, warum Hitachi Vantara der perfekte Hardwarepartner für Splunk ist.

Maschinendaten und Ihre Bedeutung für die Automatisierung

Um zu verstehen, mit welchen Informationen Splunk arbeitet, ist es wichtig, grundlegend zu erläutern, was Maschinendaten sind:
Digitale Informationen, die durch Computer, Mobilgeräte, Netzwerkkomponenten, Sensoren, Maschinen etc. generiert werden. Grundsätzlich gibt es zwei Grundtypen:

  • Prozessdaten: Die zum Betrieb notwendigen und durch den Betrieb erzeugten Daten, z.B. Anwendungsdaten, Server- und Netzwerk-Logs, Datensätze von Telefongesprächen (Telefonnummer, Zeit, Dauer….), Sensordaten, Click-Stream und Website-Protokolle.
  • Produktdaten: Werden an der Produktionseinheit gemessen und geben im Betrieb einer Produktionsanlage Informationen über den Produktionsverlauf (und ggf. Abweichungen von der Norm).

Durch Analyse dieser Daten lassen sich Abnormitäten in Produktion, Betrieb, Sicherheit etc. in Echtzeit feststellen, um auf diese automatisiert reagieren zu können. Dazu ein Beispiel: Durch die Auswertung und Korrelation der kompletten Informationen von

  • Netzwerk
  • Identity und Access
  • Cloud Security
  • WAF & App Security
  • Threat Intelligence
  • WebProxi
  • Firewall
  • Endpoints
  • Thread Intelligence

können Gefahren durch Cyberangriffe bereits im Vorfeld erkannt und automatisiert Maßnahmen zur Abwehr getroffen werden.

Weiter zu “Ansätze der Datenanalyse”

Unterschiedliche Ansätze der Datenanalyse

Nachdem nun grundsätzlich geklärt ist, was Maschinendaten sind und welche Bedeutung sie für automatisierte Reaktionen haben, widmen wir uns der Datenanalyse. In diesem Bereich gibt es unterschiedliche Ansätze, auf denen man aufbauen kann:

  • Descriptive – Was ist passiert?
  • Diagnostic – Warum ist es passiert?
  • Predictive – Was wird passieren?
  • Prescriptive – Was soll ich machen?

Splunk unterstützt Anwender in all diesen Segmenten. Besonders wertvoll sind die Ergebnisse für predictive und prescriptive Analysen, die bei der Automatisierung von Reaktionen unterstützen können. Mit seinen AI-Fähigkeiten kann Splunk unternehmensspezifische Eigenheiten erkennen und selbständig darauf reagieren.

Weitere Produktinformationen zu Splunk>

Zur Veranschaulichung ein Beispiel, wie Splunk undurchsichtige Kausalketten auflösen kann:

Startet eine Applikation oder ein Prozess nicht, kann das unterschiedlichste Ursachen haben, die untersucht werden müssen.

  • Applikation
  • Netzwerk
  • Dienste auf dem Server
  • Server
  • Schnittstellen

Für jede dieser Stufen gibt es eigene Analyse-Tools, die einzeln ausgewertet werden können und gegebenenfalls individuell in Verbindung gebracht werden müssen. Hat sich beispielsweise eine App „aufgehangen“ , funktioniert aber nach einen Neustart, fehlt mir meist die konkrete Ursache des Problems. Wenn dieses „Aufhängen“ aber gleichzeitig mit einen Time-Out im Netzwerk zusammenhängt, der wiederum durch einen unberechtigten Zugriff von außen/innen verursacht wurde, weil ein Treiber ein Sicherheitsrisiko darstellt… Ursache-Wirkung lässt sich beliebig fortführen … Solche Kausalketten sind nicht unbedingt auf den ersten Blick ersichtlich.

Durch Splunk werden die Zusammenhänge in Sekunden auf übersichtlichen Dashboards visuell dargestellt und automatisierte Prozesse gestartet, um Probleme oder Fehlerquellen zu beheben.

Was sind also die Vorteile von Splunk auf einen Blick?

Vorteile von Splunk zur Analyse von Maschinendaten

Es gibt inzwischen tausende von Schnittstellen (auch „Apps“ genannt), die Informationen an Splunk liefern können oder Dashboards und Reports enthalten. Von Standard-IT Systemen, relationalen Datenbanken, mobilen Geräten, Mainframe, SystemLogs bis hin zu Analysesensoren in der Automobilindustrie (wie oft wurde wann mit welcher Geschwindigkeit gebremst……) etc. können alle Informationen einfließen. Auch eine individualisierte Erstellung von speziellen Applikationen ist durch die offene Struktur sehr einfach möglich.

Vorteile von Splunk gegenüber Wettbewerbern:

  • AdHoc-Anfragen sind schnell zu generieren
  • Daten müssen im Vorfeld nicht strukturiert werden
  • Tausende von Apps bzw. Schnittstellen verfügbar
  • Eine Plattform für alle Unternehmensdaten
  • Einfache Lizensierung
  • Schnell integrierbar

Das macht Splunk zum absoluten Marktführer im stark wachsenden Segment der Data Analytics Lösungen.

Hitachi Vantara und Splunk? Optimierte Datenvorhaltung für effiziente Analysen>

YouTube Inhalte aktivieren

Die Nutzung von YouTube erfordert Marketing Cookies. Bitte akzeptieren Sie die Marketing-Cookies, um YouTube-Inhalte anzuzeigen.

akzeptieren
Mehr Informationen gewünscht? Vollständiger Splunk Überblick

Optimierte Datenvorhaltung mit Hitachi Vantara

Das Hitachi Vantara mehr als nur Storage bietet ist schon länger bekannt. Mittlerweile gibt es allerdings einige Hard- und Softwarelösungen, die gerade in Verbindung mit Splunk massive Mehrwerte liefern:

1.) Zusätzliche Funktionalität
In den meisten Unternehmen werden Daten und Informationen inzwischen auch visuell erfasst. Sei es durch optische Kameras oder – auf Grund der größeren Messgenauigkeit oder aus Gründen des Datenschutzes durch 3D Lasersensoren (LIDAR). Splunk ist für diese Art von Daten (Bild/Video) nicht entwickelt worden. Hitachi Video Analytics analysiert diese Daten bzw. Streams und kann die relevanten Informationen als .JSON, .CSV und .log Files zur Verfügung stellen. Dies sind wiederum Maschinendaten, mit denen Splunk sehr gut arbeiten kann. Dadurch ergeben sich z.B. hinsichtlich Fertigung (Volumen, Form, Füllstand….), Personen, Anlagen bzw. Gebäudeschutz vielzählige zusätzliche Einsatzmöglichkeiten.

2.) Optimierung der Datenvorhaltung
Hitachi ist dank der Firmenhistorie Spezialist für IoT-Daten (sind per Definition Maschinendaten) und zwischen Hitachi und Splunk bestehen bereits enge Verbindungen:

  • Splunk + Hitachi sind Technolgiepartner
  • Fortlaufend technische- und Performance-Validation
  • Co-Testing mit Intel für Splunk Multi-Site Clustering
  • HCP Smart-Store Integration für Warm/Cold Optimierung
  • Content Intelligence für Frozen Data Optimierung

Warum Optimierung der Datenvorhaltung:
Obgleich die einzelnen Datenblöcke bei Maschinedaten sehr klein sind, wächst aufgrund der kontinuierlich anfallenden Menge das Volumen an analysefähigen Daten exponentiell an. Um hier die Kosten-Nutzen-Relation in ein vernünftiges Verhältnis zu bringen, macht es Sinn, die Datenvorhaltung zu optimieren, denn Splunk wird weitgehend nach Volumen lizenziert.

97% aller Splunk-Analysen betreffen Daten, die innerhalb der letzten 24 Stunden angefallen sind. Da Splunk sehr IO-intensiv ist und zudem das Ziel hat, Echtzeit-Korrelationen und Analysen durchführen zu können, müssen diese Hot-Daten im schnellstmöglichen Zugriff gehalten werden.

Durch die Einbindung vielfältigster Datenquellen sind auch diese Hot-Daten einem starken Wachstum unterworfen.
In der Regel wird die Skalierung über Nodes durchgeführt, die zusätzliche Rechen- und Speicherkapazitäten in einem festen Verhältnis beinhalten. Eine solche Serverfarm inklusive Infrastruktur ist äußerst kostenintensiv, da gegebenenfalls Ressourcen ausgebaut werden, die (noch) nicht benötigt werden. Ist z.B. der Rechencluster zu klein – der Datenspeicher hat aber noch Kapazität zur Verfügung, wird durch diesen Ansatz mit weiteren Nodes Geld in nicht benötigten Speicherplatz investiert. Gleiches gilt auch vice versa. Zusätzlich verschlingt das Management einer solchen Cluster- und Netzwerkinfrastruktur nicht unerhebliche Ressourcen – hierbei ist die Migration von Hot- zu Warm/Cold/Frozen Daten noch nicht berücksichtigt.

 

Lösungsansatz Hitachi:
Mit der Hitachi Unified Compute Plattform werden die Compute, -Speicher und Netzwerkressourcen nicht nur mit einem zentralen Management-Tool (UCP Advisor) verwaltet und orchestriert – eine Provisionierung der Ressourcen für Splunk geschieht in Sekunden – durch die Integration der Hitachi Virtual Storage Platform Serie mit NVME-Technologie kann auch die Skalierbarkeit von Hochgeschwindigkeits-Storage (bis 21 Mio IOps bei einer Latenz ab 70 µs) und Compute-Power je nach Bedarf getrennt voneinander stattfinden.

Was machen wir, wenn die Daten nicht mehr ganz so „Hot“ sind…..
Bei Splunk gibt es die Möglichkeit der „Smart Storage“ Funktionalität. Hier bestimmt Splunk, wann welche Daten wohin ausgelagert werden. Hierfür ist der S3-Speicher hinter einer Hitachi Content Platform ein zertifiziertes Target. Mit Hilfe der Hitachi Content Intelligence werden die Daten nicht nur ausgelagert, sondern auch indexiert und mit zusätzlichen Metadaten angereichert, um die „Cold“ oder „Frozen“ Daten bei Bedarf mit Hilfe der Meta-Data-Query-Engine schnell und effizient wieder ausfindig zu machen. Dadurch besteht die Möglichkeit, diese Daten innerhalb weniger Sekunden auf den Primärspeicher zur Auswertung für den Splunk-Cluster zurückzuspielen.
Eine zusätzliche Möglichkeit für Kunden, die keine „Smart Storage“ Option in ihrem Splunk-Cluster integriert haben, bietet die bereits erwähnte Hitachi Content Intelligence. Mit dieser können Daten automatisiert vom Primär-Speicher auf den S3-Speicher von Hitachi ausgelagert werden.
In die Hitachi-Lösung sind etliche Funktionalitäten integriert, unter anderem:

  • MetaDaten-Management
  • Verschlüsselung
  • Backupfreies Archivieren
  • Retention zum automatischen Löschen veralteter Daten
  • Mandantenfähigkeit, um Zugriffsrechte auf unterschiedliche Datengruppen zu gewährleisten
  • Multi-Cloud Management
  • Unabhängige Skalierung von Compute und Storage (bis mehrere Exabyte)
  • Unterstützung von mehreren 100 Nodes (Minimum 4)
  • 15×9 Verfügbarkeit
  • Verwaltung von Billionen von Objekten.

Ein interessanter Punkt zum Schluss: Die Hitachi Content Plattform gibt es zwar als komplett schlüsselfertige Hardwareappliance, aber es ist auch eine reine, herstellerunabhängige Softwareversion verfügbar. So können Anwender Ihre bestehenden Investitionen weiter nutzen oder ihren bevorzugten Hardwarehersteller um die HCP-Funktionalitäten erweitern. Und das lohnt sich, denn: HCP wurde bereits im Jahr 2004 als Archivsystem für Krankenhäuser auf den Markt gebracht und hat sich seitdem laut Gartner, IDC und Gigaom als führende Managementplattform für Private-, Public- oder Multicloudansätze etabliert.

Sie interessieren Sich für Hitachi Vantara in Kombination mit Splunk?

Nehmen Sie mit uns Kontakt auf, unser Team unterstützt Sie gerne.
Ihr Spezialist zum Thema:

Werner Habicht
Business Manager Hitachi Vantara
werner.habicht@techdata.com
089-4700-3243