Data Engineer (m/w/d)

Job description

Konzeption, Weiterentwicklung und praktische Implementierung einer skalierbaren Data-Lakehouse- und Datenplattform-Architektur für sehr große, heterogene Datenmengen Entwicklung einer langfristigen Daten- und Speicherstrategie unter Berücksichtigung von Performance, Skalierbarkeit, Datenlebenszyklus, Kosten, Verfügbarkeit und betrieblichen Anforderungen Konzeption geeigneter Speicher- und Zugriffskonzepte für große Mengen an Bild-, Video-, Sensor-, Geo- sowie weiteren unstrukturierten und semi-strukturierten

Daten, einschließlich Metadaten, Partitionierung, Indexierung, Kompression und Archivierung Aufbau und Betrieb robuster Batch- und Streaming-Pipelines für die Aufnahme, Verarbeitung, Transformation und Bereitstellung von Daten aus heterogenen Quellen Mitgestaltung und Implementierung eines semantischen Datenmodells bzw. einer Ontologie, mit der Datenobjekte, Entitäten, Beziehungen und Kontext systemübergreifend beschrieben und verknüpft werden können Schaffung einer belastbaren

Datenbasis für Machine Learning, KI-basierte Anwendungen und autonome Systeme, einschließlich nachvollziehbarer Datenherkunft sowie reproduzierbarer Trainings- und Validierungsdatensätze Sicherstellung von Data Lineage, Datenversionierung, Datenqualität, Schema-Management und geeigneten Governance- und Zugriffskonzepten über den gesamten Datenlebenszyklus Entwicklung und Betrieb der Datenplattform in großen, verteilten Kubernetes-basierten Infrastrukturen sowie Integration in Infrastructure-as-Code- und CI/CD-/DevSecOps-Prozesse Analyse und

Optimierung von Datenlayouts, Datenlokalität, Compute-Nähe und Datenbewegungen für datenintensive Anwendungen Bewertung geeigneter Open-Source- und kommerzieller Technologien sowie Umsetzung von Proofs of Concept bis hin zu produktionsreifen, skalierbaren Lösungen Enge Zusammenarbeit mit AI/ML-, Software-, Plattform- und Cyber-Security-Teams bei Architekturentscheidungen, Schnittstellen, Datenprodukten und operativer Umsetzung