Im vierten und letzten Teil unserer Reihe geht es um virtuelle Datenmodellierung und ein grundlegendes Umdenken, um das Unmögliche möglich zu machen: ein ganzheitlicher und nachhaltiger Ansatz im Umgang mit den eigenen Daten.
Die Verbindung zwischen Daten und ihrer Quelle
In dem Moment, in dem ein Datenpunkt kopiert wird, wird die Verbindung zwischen den Informationen und dessen Quelle aufgelöst. Was wie ein völlig normales Vorgehen erscheint, birgt einige Konsequenzen, die zum Teil erheblich sind. Wir haben diese in den vorangegangenen Artikeln dieser Reihe bereits umfangreich beschrieben. Hierzu gehören:
Verlust der Echtzeit-Datenaktualität
Verlust der Berechtigungsverwaltung und -prüfung des Quellsystems
Performanceverlust durch das Ersetzen leistungsfähiger Hard- und Software durch Alternativen, wie dem eigenen PC oder kostengünstigem Datenspeicher
Verlust des automatisierbaren Datenbezugs
Die Schritte, bei denen die genannten Nachteile sofort spürbar sind, sind häufig unscheinbar und teils banal. Es kann das Speichern der Daten in einem Spreadsheet sein, das Importieren von Daten in ein Dashboarding-Tool, das Verschieben von Daten auf einen gemeinsam genutzten Datenträger, auf den Unternehmens-Cloud-Speicher oder in den Data Lake. In allen Fällen geht die Verbindung zwischen den Daten und ihrer Quelle verloren.
„Im virtuellen Datenraum werden völlig neue Herangehensweisen und Modellierungsansätze möglich.“
Aber auch bei weniger unscheinbaren Aktionen folgen solche Konsequenzen. Einige Datenplattformen verwenden zur Optimierung der Performance zusätzliche Persistenz-Schichten oder entkoppeln den Endanwender von den bestehenden Berechtigungssystemen, beispielsweise durch die Verwendung technischer User. Auch hierbei treten die diskutierten Nachteile sofort ein.
Ein Erhalt der Verbindung zwischen den Daten und ihrer Quelle bietet neben der Vermeidung der genannten Nachteile zusätzlich noch weitere Vorteile, die daraus entstehen, dass im virtuellen Datenraum völlig neue Herangehensweisen und Modellierungsansätze ermöglicht werden.
Vorgehensweise bei der virtuellen Datenmodellierung
Die Vorgehensweise bei der Erstellung virtueller Datenmodelle unterscheidet sich grundsätzlich von der der klassischen Datenmodellierung. Während in Data Warehouse Systemen gleich zu Beginn der maximal erforderliche Detaillierungsgrad ermittelt, modelliert und geladen werden muss, um das EINE vollständige Datenmodell herstellen zu können, wird in der virtuellen Datenmodellierung für jeden Datenzugriff ein dafür optimiertes Datenmodell verwendet.
Das ist möglich, da ein virtuelles Datenmodell lediglich eine Beschreibung dessen ist, wie mit den Daten umgegangen werden soll, ohne die Daten selbst zu enthalten. Die Faustformel für diese Datenmodelle lautet dabei „so früh wie möglich, so wenig wie nötig“. Dabei ist das Zusammenspiel von Filtern und Granularität entscheidend. Möchte man mehr Details zu einer Auswahl einsehen können, filtert man erst gemäß der Auswahl und ergänzt anschließend die Details. Zur Erstellung dieser Datenschnitte wird die Leistungsfähigkeit des Quellsystems voll ausgeschöpft.
„Bei dieser Vorgehensweise kann nahezu jeder Anwendungsfall eines Endanwenders umgesetzt werden.“
Bei dieser Vorgehensweise kann nahezu jeder Anwendungsfall eines Endanwenders umgesetzt werden, denn dieser wird immer eine aggregierte Sicht oder nur einen Ausschnitt der Daten benötigen, da er unmöglich Millionen oder Milliarden Datensätze auf einmal erfassen und interpretieren kann.
Die Plattform, die einen solchen virtuellen Datenraum zu Verfügung stellt, muss dementsprechend folgende Fähigkeiten besitzen:
Verbindungsmöglichkeiten zu den erforderlichen Quellen
Schnelle und einfache Modellierungsmöglichkeiten für den Endanwender
Weitergabe der Filter und Parameter aus dem virtuellen Modell an die Quellsystemabfragen
Keine Zwischenspeicherung (Persistenz) im virtuellen Datenraum
Single Sign-On für alle angebunden Quellen ohne Verwendung technischer User auf allen Ebenen des Datenzugriffs (auch aus Cloud-Anwendungen heraus)
Verbindung zur Daten-Ebene, in der die vollständige Business Logik definiert wird (in Data Warehouse Systemen häufig auf Query Ebene)
Beispiel für Modellierungsansätze im virtuellen Datenraum
Der Abgleich sehr großer Datenmengen stellt Unternehmen insbesondere bei großen Migrations- oder Implementierungsprojekten vor immense Herausforderungen. Häufig liegen die Daten sowohl in einem Vor- oder Altsystem als auch in den Folge- bzw. Neusystemen. Zur Prüfung der korrekten Implementierung der Übergangslogik werden in der Regel Abgleiche zwischen den beiden Systemwelten durchgeführt.
Da die Daten jedoch in unterschiedlichen Datenspeichern liegen, die häufig keine oder nur proprietäre Schnittstellentechnologien unterstützen, die nicht für den Austausch sehr großer Datenmengen geeignet sind, kann der Abgleich nur unter Zuhilfenahme weiterer Persistenzen umgesetzt werden. Das erneute Kopieren und Verschieben der großen Datenmengen ist dabei immer eine technische Herausforderung und in der Regel sehr zeitintensiv und kostspielig. Natürlich liefern die zusätzlichen Kopien erneut die erwähnten Nachteile redundant gespeicherter Daten.
„Werden die Datentöpfe dabei zu groß, kann der vollständige Abgleich nicht mehr ausgeführt werden.“
Dabei besteht das Kernproblem klassischer Datenabgleiche darin, dass alle Daten gleichzeitig im Zugriff vorhanden sein müssen, um Abweichungen auf jeder Granularität entdecken zu können. Werden die Datentöpfe dabei zu groß, kann der vollständige Abgleich nicht mehr ausgeführt werden, da die Rechenzeit und / oder der Speicherbedarf die Grenzen des technisch Machbaren überschreiten.
Virtuelle Modellierungsoperatoren
Im virtuellen Datenraum betrachten wir dagegen immer nur die Daten, die wir für einen bestimmten Moment benötigen. Wir achten dabei auf passende Datenschnitte, um die Datenmenge für den Anwendungsfall zu optimieren. Im Falle eines Datenabgleichs kann das beispielsweise bedeuten, dass wir die Daten zunächst auf einer großen Abstraktionshöhe vergleichen (z.B. für ein Kalenderjahr), dabei die Aggregationsfähigkeit der Quellen nutzen und erst im Fall von Abweichungen auf diese Filtern, bevor wir den Detaillierungsgrad vergrößern.
Dadurch findet ein kontinuierliches Auffächern der Daten statt, der aber zu jedem Zeitpunkt auf einer stark begrenzten Datenmenge basiert. Da es sehr mühsam wäre, dieses Vorgehen manuell auszuführen und damit eine kontinuierliche Wiederholung des Abgleichs praktisch nicht möglich wäre, bietet die virtuelle Datenmodellierung hierfür ganz eigene und völlig neue Operatoren.
Der Datenabgleichoperator (Comparison) ist ein Beispiel für einen speziellen Modellierungsoperator im virtuellen Datenraum. Dieser verwendet als Eingabe zwei beliebige Tabellen, benötigt Informationen, welche Bestandteile der Tabellen abgeglichen werden sollen (Kennzahlen und / oder Attribute) und liefert im Ergebnis nur die Teile der Ursprungstabellen, die entsprechend der Abgleichdefinition voneinander abweichen. Das Ergebnis dieses Operators kann zur Filterung von weiteren Abfragen mit größerer Granularität verwendet werden.
Datenzusammenführung im virtuellen Datenraum
Im virtuellen Datenraum erreicht die Frage, welche Daten zusammengehörig sind, eine neue Dimension. Bislang wurde die Frage maßgeblich durch die Verfügbarkeit der Daten im entsprechenden System definiert.
Im virtuellen Datenraum gibt es dieses EINE System jedoch nicht mehr, es gibt keine System- und auch keine Netzwerkgrenzen. So kann beispielsweise das ESG-Reporting neben den Daten aus HR- , Einkaufs-, Logistik-, Accounting- und Produktionssystemen auch Daten direkt vom Zulieferersystem erhalten, sowie virtuelle Logik zur Ermittlung von CO² Emissionen oder anderer komplexer KPIs.
Gleiches gilt für das Reporting zur Nachverfolgung von Lieferketten und Materialverfügbarkeiten. Auch hier können die Systeme der in der Lieferkette enthaltenen Unternehmen direkt und in Echtzeit für die Auswertungen herangezogen werden.
Soll vor dem Kauf oder Verkauf von Unternehmen bzw. Unternehmensteilen die Auswirkung auf die eigenen KPIs geprüft werden, so können auch hier die Daten der betroffenen Einheiten virtuell in das eigene Reporting integriert werden.
Diese und viele weitere Möglichkeiten tragen dazu bei, dass ganzheitlich und vor allem nachhaltig mit den eigenen Unternehmensdaten umgegangen werden kann.
Comentários