Mit Big Data von Business Intelligence zum datengetriebenen Unternehmen

„… aber unser Business Intelligence System verarbeitet schon heute ganz viele Daten.“ Mit dieser Antwort regaieren IT-Verantwortliche häufig, wenn das Management oder eine Fachabteilung nach „Big Data“ fragt.

Wenn Datarella um Unterstützung angefragt wird, liegt allerdings meistens schon ein konkretes Problem vor. An einem bestimmten Punkt ist das Unternehmen an die Grenze dessen gestoßen, was seine bestehenden Systemwelt zu leisten vermag. An diesem Punkt stellt sich eine fachliche Herausforderung an die Datenverarbeitung, die über die bestehende Business Intelligence hinausgeht.

Viele Unternehmen haben in den 80er und 90er Jahren in Business Intelligence investiert, ERP, ‚Enterprise Resource Planning‘ und Data Warehouses aufgebaut. Der initiale Aufwand und die Maintenance dieser Systeme ist beträchtlich. Die Strukturen und Prozesse der Unternehmen wurden nicht selten regelrecht um die rigide Architektur der BI heraumgebaut: „Das geht nicht, das bekommen wir nicht umgesetzt“ ist eine des öfteren zu hörende Aussage.

Mangelnde Flexibilität von BI Systemen

Ein wesentlicher Grund für die mangelnde Flexibilität und geringe Anpassungsfähigkeit der BI-Systeme liegt in ihrem Grundkonzept. ETL – ‚Extract, Transform, Load‘ ist der Grundprozess der Data Warehouses. Die Daten werden dabei aus dem Produktionssystem extrahiert, dann geeignet umgeformt und in die Tabellen relationaler Datenbanksysteme wie Oracle oder SAP gespeichert. Jede Veränderung der Datenstruktur, jedes neue Datenfeld, jede neue Datenquelle, die angebunden werden soll, zieht eine lange Kette von notwendigen Änderungen im Data Warehouse nach sich.

Der schwerwiegende Nachteil des klassischen ETL-Prozesses besteht jedoch darin, dass die Rohdaten aus den Produktionssystemen zuerst transformiert werden, in eine geeignete Form gebracht, bevor sie abgespeichert werden. Dabei gehen viele Daten endgültig verloren. Es ist nicht mehr möglich, die fehlenden Daten nachträglich wieder herzustellen.

Unnötiger Datenverlust 

Ein Beispiel sind die Logfiles von Webservers. Viele Unternehmen extrahieren daraus Clicks, die Links, durch die die Nutzer auf die Seite gekommen sind (Referrer) und weitere Daten zur Nutzung. Diese Daten werden dann in Tabellenform gebracht, eine zum Beispiel mit der Summe der Clicks pro Stunde, eine andere mit den verweisenden Links, eine dritte mit den Browser-Typen und den Endgeräten. Die Verbindung, welcher Nutzer mit was für einem Gerät wann auf welchen Link geklickt hat, geht dabei verloren. Genau diese Verbindung aber ist die Grundlage für wirkungsvolle Empfehlungssysteme, wie sie etwa in einem Webshop angeboten werden sollten. Ebenso ist fast niemals mehr nachvollziehbar, wie die Website zum Zeitpunkt des Clicks ausgesehen hatte, welcher Content genau auf der Seite zu finden war.

Data Intelligence 2.0

An diesem Punkt spätestens kommt Datarella ins Spiel: Eine neue Data Intelligence wird entwickelt. Wir bauen für unsere Kunden einen Datenprozess, der so weit wie möglich die Rohdaten der Produktivsysteme beibehãlt. Aus den Live-Systemen fließen die Daten in ein Auffangbecken – ein ‚Bucket‘ – und werden als mehr oder weniger unstrukturierter ‚Datensee‘ – Data Lake – gesichert. Für die unterschiedlichen Anwendungen werden daraus im zweiten Schritt Reportingsysteme wie ERP bzw. das Data Warehouse befüllt, oder auch Echtzeit-Anwendungen wie Targeting, Empfehlungsmarketing oder Systeme zum Schutz vor Betrug betrieben. Anforderungen und Datenstruktur können dabei auch nach Fertigstellung agil angepasst werden.

Unsere Erfahrung aus zahlreichen Projekten der letzten Jahre zeigt: Der Big-Data-Weg zu Business Intelligence ist nicht nur das passende Werkzeug auf die Anforderung nach Flexibilität und Echtzeitfähigkeit, sondern auch wesentlich günstiger und schneller zu realisieren, als die klassische BI. Mit Big Data wird aus Business Intelligence das datengetriebene Unternehmen.

Datarella baut Ressourcen auf und gründet Baltic Data Science in Gdansk, Polen

München/Gdansk, 16. September 2016 – Während wir in der Anfangszeit von Datarella nahezu evangelisierend unterwegs waren und das neue Big Data Paradigma die erste stelle in Workshops einnahm, scheint sich die Notwendigkeit und Fähigkeit zum Management großer Datenmengen auf breiter Front in Unternehmen durchzusetzen.

Analog dazu hat sich unsere Arbeit im Projekt verändert: zwar entwickeln wir heute und auch zukünftig initiale Projektideen und Use Cases gemeinsam mit unseren Kunden, aber die später im Prozess dazukommenden Arbeiten werden häufiger. Zusätzlich steigen die Erwartungen unserer Kunden an die Umsetzungsgeschwindigkeit.

Um diesen Anforderungen gerecht zu werden, haben wir vor geraumer Zeit beschlossen, unsere Data Science Ressourcen signifikant aufzustocken Dieser Entschluss resultierte in der Gründung von Baltic Data Science BDS mit Sitz in Gdansk, Polen. Mit BDS ist Datarella in der Lage, kurzfristig hochqualitative Ressourcen anzubieten, kurz: Data Science As A Service.

Der Grund für uns, BDS in Form eines Joint Ventures mit unseren langjährigen polnischen Geschäftspartnern ins Leben zu rufen, liegt in der erstklassigen Qualität der Arbeit der Gdaansker Entwickler, der Vertrauensbasis, die sich über die Jahre gebildet hat und dem modernen gegenüber Technologie aufgeschlossenen Klima mit leistungswilligen und engagierten Mitarbeitern.

Als unsere erste Auslandsgründung bot der Prozess bis zur Anmeldung der Baltic Data Science eine steile Lernkurve. Wir sind überzeugt, mit BDS den richtigen und zukunftsweisenden Weg zu gehen und freuen uns darauf, genau das unter Beweis zu stellen.

Job Angebote bei Baltic Data Science, Standort: Gdansk

Meredith L. Patterson und Flight Delay Dapp Live Demo auf dem Ethereum Munich Meetup, 20.9.16

Meredith L. Patterson ist jedem in der Security- und Crypto-Szene ein Begriff. Neben ihrer Arbeit im Bereich der Computational Linguistic und Data Maning ist Meredith Autorin und Bloggerin. Ihre Themen sind Copyright Reform, Biohacking, Bürgerrechte und Programmiersprachen.

Auf dem Ethereum Munich Meetup wird Meredith ihre Perspektive auf die Sicherheit der Blockchain und entsprechender Anwendungen darstellen. Über die Erkenntnis hinaus, dass die Blockchain lediglich für spezifische Teile eines gesamten Datenprozesses absolut Sicherheit garantieren kann – zumindest solange nicht jedermann über seinen eigenen Quantencomputer verfügt, haben die Teilnehmer Gelegenheit die Grenzen des Blockchain-Einsatzes auszuloten.

Der Abend beginnt mit leichterer, aber ebenso spannender Kost: als Weltpremiere präsentiert live aus Shanghai Christoph Mussenbrock die auf Ethereum Smart Contracts basierende Dapp Flight Delay. Sollte die Great Fire Wall die Live Demo verhindern, wird sein Partner Tobias Pfab die Präsentation vor Ort durchführen.

Für spannende Inhalte und rege Diskussion ist also gesorgt, am Dienstag, den 20.September im Saal 1008 des Bayerischen Staatsministeriums für Wirtschaft und Medien, Energie und Technologie, Prinzregentenstrasse 28.

Anmeldung und Details zum Ethereum Munich Meetup