MAINGAU Energie - Skalierbare Datenplattform

Herausforderung

MAINGAU Energie stand vor der Aufgabe, eine moderne Datenplattform aufzubauen, die einerseits moderne Data-Workflows ermöglicht, eine Integration unterschiedlicher bestehender Datenhaltungen schafft und gleichzeitig die Sicherheits- und Compliance-Anforderungen einer kritischen Infrastruktur gerecht wird. Sicherheit, Skalierbarkeit und eine klare Trennung von Umgebungen waren dabei ebenso zentral wie die nahtlose Integration in bestehende Daten-Workflows.

Unter Verwendung moderner Cloud-, DevOps- und DataOps-Praktiken sollte eine flexible Datentransformation unterstützt werden, ohne unnötige Komplexität im Betrieb oder Abhängigkeiten von einzelnen Anbietern.

Im Fokus stand daher nicht nur der Aufbau eines klassischen Data Lakes, sondern die Entwicklung einer zukunftsfähigen Datenplattform, bei der Infrastruktur und Daten-Pipelines als wartbare, versionierte Software verstanden werden.

Lösung

Auf Basis dieser Anforderungen wurde eine vollständig automatisierte Data-Lake-Architektur auf AWS realisiert. Die Implementierung einer Landing Zone über AWS Tower und einer neu aufgesetzten Multi-Account-Struktur sorgt für eine klare Trennung der Umgebungen und stabile Sicherheitsmechanismen mittels klar definierter Guardrails. Access Management und Security Checks wurden weiters über die Integration bestehender Systeme integriert (z.B. Microsoft Defender for Cloud). Sämtliche Ressourcen werden über AWS CDK mittels Infrastructure as Code bereitgestellt, wodurch konsistente und reproduzierbare Deployments über alle Umgebungen hinweg möglich sind.

Darauf aufbauend wurden mehrere Databricks-Workspaces im Bring-your-own-VPC-Modell integriert. Dieses Setup gewährleistet eine saubere Netzwerk-Isolierung und erfüllt hohe Anforderungen an Sicherheit und Governance.

Für die Datenverarbeitung wurde ein moderner ELT-Ansatz gewählt. Daten werden zunächst zentral geladen und anschließend auf der Plattform transformiert. Die Daten-Ingestion erfolgt über eine herstellerunabhängige Lösung, wodurch Flexibilität und Zukunftssicherheit gewahrt bleiben.

Externe Daten werden über Delta Sharing eingebunden und können sicher und skalierbar genutzt werden, ohne redundante Datenhaltung oder zusätzlichen Betriebsaufwand.

Die Datentransformationen werden über zwei etablierte Ansätze umgesetzt:

• DBT
• Databricks Lakeflow Spark Declarative Pipelines (SDP)

Beide Varianten sind in eigene Repositories integriert und über automatisierte CI/CD-Pipelines an Test- und Produktionsumgebungen angebunden.

Ergebnis

Das Ergebnis ist eine stabile, skalierbare und hochgradig automatisierte Datenplattform, die den Betrieb vereinfacht und gleichzeitig Raum für datengetriebene Weiterentwicklung schafft.

• Deployments von Infrastruktur und Daten-Pipelines erfolgen konsistent und mit minimalem manuellen Aufwand.
• Entwickler arbeiten effizienter durch klare Versionierung, automatisierte Tests und kontrollierte Releases.
• Unterschiedliche Transformationsansätze können flexibel je nach Anwendungsfall eingesetzt werden.
• Der sichere Austausch externer Daten gelingt ohne zusätzliche operative Komplexität.

Damit wurde eine belastbare Grundlage geschaffen, auf der datenbasierte Entscheidungen schneller getroffen und neue Use Cases nachhaltig umgesetzt werden können.