Aufbau einer zentralen Datenplattform zum Reporting und Monitoring für Alternative Investments

"Fast alle größeren Projekte leiden unter unzureichender Dokumentation und fehlenden Produktspezifikationen. Die größte Herausforderung lag darin, den eigentlichen Business-Zweck zu verstehen – was entscheidend ist, um die richtige Logik zu implementieren."

Hisham Merdan

Analytics Engineer

Jeden Tag werden zahlreiche Investments ausgeführt, angepasst und überwacht. Den Überblick über all diese Aktivitäten zu behalten, stellt eine große Herausforderung dar.

Eine zentrale Aufgabe ist das Limit-Monitoring – also die Frage, welche Investments unter ihren Ziel-Limits liegen und weiter allokiert werden müssen, beziehungsweise welche Positionen erlaubte Schwellenwerte überschreiten und daher reduziert oder gestoppt werden sollten. Gleichzeitig müssen wesentliche Marktindikatoren wie Market Value und Return on Investment präzise und konsistent berechnet werden.

Die Komplexität steigt zusätzlich dadurch, dass die Daten aus vielen unterschiedlichen Quellen stammen. Stakeholder mussten Informationen daher zunächst manuell zusammentragen, bevor sie überhaupt mit ihrer Analyse beginnen konnten.

Das führte zu hohem manuellem Aufwand, geringer Transparenz und langsamen Entscheidungsprozessen – und machte ein effektives Investment Management deutlich schwieriger, als es sein müsste.

Herausforderung

Vor der Transformation waren die Daten für dieses Projekt über mehrere Systeme, Excel-Dateien und SharePoint-Ordner verteilt. Es gab keinen zentralen Ort, an dem alle Informationen konsistent gespeichert, abgestimmt und verwaltet wurden.

Dadurch mussten Investmentdaten manuell gesammelt und konsolidiert werden.

Das Monitoring von Investment-Limits – also das Identifizieren von Positionen unter Zielallokationen oder über erlaubten Schwellenwerten – war komplex und unvollständig. Wichtige Sichten wie Exposures nach Ländern, Branchen, Währungen oder Assetklassen waren nur mit erheblichem manuellen Aufwand möglich.

Das Reporting war zeitaufwendig und es fehlte an Transparenz sowie Genauigkeit. Kennzahlen wie Market Value, Internal Rate of Return (IRR) und Return on Investment mussten häufig manuell berechnet werden. Da Daten-Definitionen nicht harmonisiert waren und kritische Felder teilweise fehlten, war das Vertrauen in die Zahlen eingeschränkt.

Kurz gesagt: Es gab keine Single Source of Truth – sondern fragmentierte Daten, doppelte Aufwände und ineffiziente Reporting-Prozesse. Vor allem fehlte eine zentrale Gesamtübersicht, die es Stakeholdern ermöglicht hätte, schnell Erkenntnisse zu gewinnen und fundierte Entscheidungen zu treffen.

Implementierung

Um von fragmentierten Daten zu einer echten Single Source of Truth zu gelangen, sind wir einem klar strukturierten Ansatz gefolgt:

Modernizing Data Architecture to Azure

1. Standardisierung der Datenlieferung

Anstatt mehrere separate Dateien aus Systemen wie SAP RE, eFront und Drittanbieter-Datenbanken zu erhalten, haben wir die Datenlieferung in einen strukturierten und koordinierten Prozess überführt.

2. Einführung einer Projekt-Level-Granularität

Wir haben das harmonisierte Datenmodell erweitert und eine neue „Projekt“-Ebene eingeführt, in der alle zusammengehörigen Cashflows gebündelt werden, anstatt jedes Investment mit mehreren Cashflows separat zu behandeln.

Dadurch wurden detailliertere Analysen und eine bessere Transparenz über Investments hinweg möglich. Gleichzeitig wurde klar definiert, an welcher Stelle Mapping-Logiken gepflegt werden müssen.

3. Einsatz eines ETL-Frameworks

Alle Dashboards wurden direkt mit dem Data Lakehouse verbunden, das als zentrale und verlässliche Grundlage für Reporting und Analysen dient.

Durch die Zentralisierung der Daten im Data Lakehouse konnten wir Konsistenz, Transparenz und Vertrauen in sämtliche Kennzahlen sicherstellen. Eine der größten Herausforderungen bestand darin, dass die Daten aus unterschiedlichsten Systemen und Quellen stammten. Das Data Lakehouse löste dieses Problem, indem es als Single Source of Truth fungierte.

Daten aus verschiedenen Quellen wurden über ETL-Pipelines in Databricks gesammelt, konsolidiert und in einer einheitlichen Umgebung gespeichert. Dafür war eine Medallion-Architektur erforderlich.

3.1 Bronze Layer

Der erste Schritt war die Erstellung des Bronze Layers. Diese Schicht speichert exakte, unveränderte Kopien aller ingestierten Daten (z. B. CSV-Dateien).

Die Dateien bleiben vollständig im Originalformat erhalten – ohne Transformation, Harmonisierung oder Veränderungen. Dadurch werden vollständige Rückverfolgbarkeit und Datenintegrität gewährleistet.

Da die Daten im Bronze Layer unverändert bleiben, ist vor der Abfrage keine vorherige Transformation notwendig. Nutzer können direkt per SQL auf die Daten zugreifen, was Performance und Nutzbarkeit deutlich verbessert.

Zusätzlich ermöglicht diese Struktur flexible Datenkombinationen, systemübergreifende Analysen und skalierbare Erweiterungen für zukünftige Anforderungen.

3.2 Silver Layer

Während der Bronze Layer rohe und unveränderte Daten speichert, transformiert der Silver Layer diese Daten in ein strukturiertes und businessfähiges Format.

Der Hauptzweck des Silver Layers besteht darin, Daten aus allen Quellsystemen zu harmonisieren, gemäß der Business-Terminologie zu normalisieren und von spezifischen Quellsystemen zu entkoppeln. Dadurch wird sichergestellt, dass die Daten konsistenten Definitionen und Standards folgen – unabhängig davon, woher sie ursprünglich stammen.

Im Silver Layer werden die Daten in einer hochgradig normalisierten Delta-Lake-Struktur gespeichert. Jede zentrale Business-Entität – beispielsweise Position, Portfolio oder Instrument – wird in eigenen dedizierten Tabellen organisiert.

Diese klare Trennung verbessert Datenqualität, Konsistenz und Wartbarkeit erheblich.

Dadurch ermöglicht der Silver Layer flexible Datenkombinationen, systemübergreifende Analysen und skalierbare Erweiterungen. Gleichzeitig schafft er eine stabile und strukturierte Grundlage für Advanced Analytics und Reporting im nächsten Schritt: dem Gold Layer.

3.3 Gold Layer

Der Gold Layer liefert den eigentlichen Business-Mehrwert. Diese Schicht ist vollständig auf Datenkonsum ausgerichtet.

Die Daten werden exakt in dem Format aufbereitet und strukturiert, das von externen Systemen, Reports oder Dashboards benötigt wird.

Da unterschiedliche Systeme und Stakeholder unterschiedliche Anforderungen haben, stellt der Gold Layer optimierte Datenmodelle für jeden spezifischen Use Case bereit. Jede Lösung wird gezielt auf Klarheit, Effizienz und Performance ausgelegt.

Dadurch sind keine zusätzlichen Umformatierungen, manuellen Anpassungen oder Neuinterpretationen der Daten mehr notwendig. Die Daten sind verlässlich, konsistent und sofort einsatzbereit.

Das ermöglicht schnelle und fundierte Entscheidungen auf Basis klarer und präziser Insights.

4. Konsolidierung der Dashboards

Wir haben zuvor getrennte Power-BI-Dashboards in einer integrierten Reporting-Lösung zusammengeführt.

Mit Power BI konnten wir interaktive Dashboards entwickeln, die die Daten übersichtlich, strukturiert und visuell ansprechend darstellen. Durch klare Visualisierungen wie Balkendiagramme, Tabellen und Matrizen werden selbst komplexe Finanzinformationen leicht verständlich.

Im Hintergrund wurden anspruchsvolle Finanzlogiken und Business-Regeln implementiert, um präzise und aussagekräftige Ergebnisse sicherzustellen.

Durch die enge Zusammenarbeit mit den Stakeholdern lag der Fokus darauf, genau die Insights bereitzustellen, die für ihre Anforderungen relevant sind. Dadurch können Performance, Trends und Risiken schnell erkannt werden – ohne dass technische oder analytische Spezialkenntnisse notwendig sind.

Medallion Architecture

Ergebnis

Was ursprünglich aus fragmentierten Daten über mehrere Systeme bestand, entwickelte sich zu einer vollständig integrierten, transparenten und skalierbaren Reporting-Lösung.

Wir haben ein Data Lakehouse etabliert und eine Medallion-Architektur implementiert, die es ermöglichte, rohe und inkonsistente Daten in verlässliche, businessfähige Insights zu transformieren.

Der Weg von Bronze über Silver bis Gold stellte vollständige Rückverfolgbarkeit, harmonisierte Definitionen und zielgerichtete Datenmodelle sicher, die exakt auf die Anforderungen der Stakeholder zugeschnitten sind.

Heute ist der Mehrwert klar sichtbar:

• Daten sind zentral in einem konsolidierten Data Warehouse gespeichert

• Definitionen sind systemübergreifend harmonisiert

• Manuelle Datensammlung und Berechnungen entfallen

• Reporting ist automatisiert und deutlich schneller

• Transparenz und Vertrauen in die Zahlen wurden wiederhergestellt (hohe Datenqualität)

• Investment-Limits und Exposures können in Echtzeit überwacht werden

• Stakeholder können schneller fundierte Entscheidungen treffen

Potenzielle Verbesserungen für künftige Projekte

Die größte Herausforderung liegt oft nicht in der technischen Komplexität der Aufgaben, sondern vielmehr darin, den eigentlichen Business-Zweck zu verstehen – was entscheidend ist, um die richtige Logik zu implementieren.

Für zukünftige Projekte würde ich empfehlen, mehr Zeit mit relevanten Stakeholdern in einer frühen Phase zu investieren, um klar zu definieren, was benötigt wird und warum.

Die Architektur auf Kundenseite ist häufig sehr komplex, und die Beschaffung der richtigen Zugriffsrechte ist ein zeitaufwendiger Prozess. Dafür muss genau bekannt sein, welche Zugriffe benötigt werden und an wen man sich wenden muss.

Eine Schritt-für-Schritt-Dokumentation aller Zugriffsanfragen kann intern sehr hilfreich sein, damit Teams die Projektstruktur schneller verstehen und sich effizienter in die Kundenumgebung integrieren können.

Auch die eingeschränkte Verfügbarkeit von Entwicklern und Business Analysts kann zu unnötigen Iterationen und vermeidbaren Verzögerungen führen.

Eine bessere Kommunikation durch regelmäßige Abstimmungen und klar definierte Eskalationswege reduziert diese Ineffizienzen erheblich und hilft dabei, Projekte erfolgreich zum Go-live zu führen.