Big Data

Big Data ist die Herausforderung im digitalem Zeitalter, große und komplexe Datenmengen zu verarbeiten, Daten zu verknüpfen bzw. korrelieren, auszuwerten und zu visualisieren.

Big Data

Big Data | Datenanalyse | Datenforensik | Mobile/Web-App Entwicklung

Was ist Big Data?

Big Data:

Ist eine Sammlung von Daten, die meist große Komplexität oder ein hohes Datenvolumen aufweisen und daher schwer mit gängigen Technologien, wie relationale Datenbanken, abgebildet zu werden.

Normalisierung:

Big Data Daten sind meist unstrukturiert und erfordern eine Datennormalisierung um diese auswertbar zu machen und zu korrelieren.

Korrelation:

Unterschiedliche Datenformate können normalisiert miteinander verglichen, verknüpft und damit ausgewertet werden.

Datenanreicherung:

Fehlen Informationen oder können Informationen sinnvoll ergänzt werden, erhöht dies die Datenqualität und die Analysemöglichkeiten.
z.B. können zu IP-Adressen geolokalisierte Daten (z.B. longitude, latitude, height) hinzugefügt werden.

Datenforensik

bezeichnet das Aufspüren von verdächtigen Änderungen in Daten (Anomalien), bzw. die Analyse von Zusammenhängen zeitlich, räumlicher und teilweise unterschiedlicher Daten(quellen).
Auch kann eine Vorhersagemodell (prediction) aufgrund dieser Veränderungen erstellt werden.


Wertvolle Informationen und Entscheidungshilfen für Unternehmen können so aus den komplexen und umfangreichen Datenmaterial extrahiert werden.

Maschinendatenanalysen

Maschinendaten (z.B. logfiles)

können ein hohes Potential für Ihr Unternehemen beinhalten.
Das Kaufverhalten Ihrer Kunden, der Zustand und Auslastung der IT-Systeme, der Erfolg Ihrer (online)Marketing-Maßnahmen, und viele andere Metriken können analysiert, korreliert und visualisiert werden.

Internet of Things (IoT)

Zahlreiche Daten aus logfiles, Metriken aus Sensoren, wearables oder Smartmeters ergeben einen reichhaltigen Datenschatz, der dazu beitragen kann, Abläufe effizienter und ressourcen-schonender zu gestalten, aber einen hohen (Informations)-sicherheitsaspekt voraussetzt.

Sensoren

liefern eine Vielzahl unterschiedlicher Daten und Metriken.
Geschwindigkeit, Bewegung, Temperatur, Druck, Feuchtigkeit, Helligkeit, Strahlung, Lage, (Strom und Treibstoff)Verbauch, Ladezustand von Akkus, ... fast keine physikalische Messgröße, die nicht erfasst werden kann.

Teilweise sind diese schon in Consumerprodukten, wie Smartphones, wearables oder Autos verbaut, und können/könnten daher wichtige Informationen liefern, die sich z.B. in einer open-data/crowd-Datenplattform für "smart city"-Projekte zusammefügen können.

Bewegungsdatenanalysen

Bewegungsdaten

sind einerseits Maschinendaten (z.B. logfiles) aber auch gegenstands- bzw. personenbezogene Daten, die einer zeitlichen oder räumlichen Veränderung unterliegen und auch eine zeitlich, räumlich begrenzte Gültigkeit haben.

Bewegungsdaten können rasch zu einer gigantischen Menge heranwachsen. Neben einer geeigneten technologischen Plattform, ist ein hohes Maß an Wissen, Erfahrung und Entwicklung notwendig, um diese Datenmengen zu analysieren.

Anwendungsbeispiele:
ROCKET Web-Consulting e.U. ist spezialisiert auf Analyse und Visualisierung von geocodierte Standorts- und Bewegungsdaten von Objekten und Personen.

aktuelle Projekte im Bereich Big Data (Release)

Splunk App: RS Charts JS Views Extensions (lite/free)

4 Visualisierungen für Splunk als JS Extension (Lite/Free version):
bessere Darstellung für Counter, XML/JSON Daten, Erweiterung durch click/drag&drop Filter, anpassbare Suchmaske in Splunk Dashboards.
Pro-Version (mit mehr Funktionalitäten bzw. Views/Visualisierungen) auf Anfrage.

App @ splunkbase url:
» RS Charts JS Views Extensions (lite) :
https://splunkbase.splunk.com/app/3409/


aktuelle Version: 1.0.0
Launchdate: 2016-12-09

Splunk App: SA RS Development Bar/Console (free)

Eine sinnvolle Hilfe für Splunk-Entwickler, die schneller und gezielter entwickeln wollen.
Eine einfache integration in bestehende Splunk Apps, bzw. Dashboards oder für Neuentwicklungen.
Relevante Informationen zu den einzelnen Dashboard Objekten, wie CSS-IDs, CSS-Klassen und verknüpfte Suchen (Suchstring) werden on the fly inline hervorgehoben und in der Entwickler-Console angezeigt.
Zusätzlich ist direkt die Code-Refresh Funktion von Splunk anwählbar, welches ein schnelleres Testen und Bugfixing ermöglicht.

App @ splunkbase url:
» SA RS Development Bar/Console :
https://splunkbase.splunk.com/app/3422/


aktuelle Version: 1.1.0
Launchdate: 2017-01-18

Projekte im Bereich Big Data (in Entwicklung)

Trend- und Outbreakanalye (Meanshift) [Beta]

Visualisierung und Analyse von Trends, Outbreaks von Ereignissen (events) innerhalb eines (vergangenen) Zeitraumes, realtime oder predictive (Vorhersagen).

Anwendungsgebiete (Beispiele):
Trend(wenden) erkennen, Outbreak-Warnung, Anomalieerkennung

(Apache)Webserver Logfile Analyse [Alpha]

Übersicht und Analyse der Stati am Webserver bzw. Domains ohne Script oder Plugin am Webserver.
Erkennen von Anomalien, sowie möglicher Angriffe (z.B. SQL-Injections, DoS) und Trends unter Verwendung von frei definierbaren Assets.
Zusätzliche Informationen über Clients (Herkunft, Browser, Verhalten, ...)

Anwendungsgebiete (Beispiele):
Marketing-Analysen, Security-Profiling, Outbreak/Trend-Erkennung, Bandbreiten- und Ressourcenauslastung

Big Data Visualisierung auf einem dreidimensionalen digitalen Geländemodell (3D DGM) [Alpha]

Visualisierung von geocodierten Ereignissen (events) basierend auf einem dreidimensionalen (3D) Geländemodell.

Dies ermöglicht eine Analyse zeitlich veränderten Daten (timeseries) über einem Geländeausschnitt.

Anwendungsgebiete (Beispiele):
Analysen in der Verkehrstechnik, Personen/Besucherströme