Data Architect – Azure Databricks (m / w / d)

Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.

Für unseren Kunden suchen wir aktuell eine / n Data Architect – Azure Databricks (m / w / d) - Remote, Frankfurt am Main.

Ihre Aufgaben

• Beratung zur Architekturdefinition und Entwicklung eines einheitlichen, skalierbaren Data Lakehouse auf Basis von Azure Databricks, Azure Data Lake Storage (ADLS), dbt und Microsoft Fabric
• Durchführung der Datenintegration aus verschiedenen Quellsystemen (insb. Streaming / Event-Daten wie IoT, Kafka, MQTT; dateibasierte Quellen wie CSV, JSON, XML; API-gestützte und virtualisierte Da-tenquellen)
• Implementierung von Datenpipelines für Batch- und Streamverarbeitung mit Databricks und dbt, inklusive Datenqualitätsprüfungen und Metadatenmanagement
• Transformation und Modellierung von Daten entlang der Medaillon-Architektur (Bronze-, Silver-, Gold-Layer)
• Migration bestehender Datenflüsse und Datenmodelle (z. B. von SSIS, Microsoft SQL Server, RDS Postgres SQL, AWS S3) in die neue Architektur
• Aufbau und Pflege eines zentralen Metastores und Rechtekonzepts (Unity Catalog, AAD-Authentifizierung)
• Entwicklung und Umsetzung von Data Governance-Prozessen, einschließlich Compliance, Datenschutz, Zugriffskontrolle und Qualitätssicherung
• Bereitstellung von Datenprodukten und Self-Service Data Analytics für Fachbereiche über MS Fabric und Denodo
• Durchführung von Datenanalysen und Advanced Analytics, inklusive Integration von Machine Learning-Modellen
• Erstellung von System- und Betriebsdokumentationen sowie Schulungsunterlagen für die neue Plattform
• Durchführung von Performance- und Kostenanalysen mit dem Ziel der Betriebsoptimierung
• Beratung zur Einhaltung von Informationssicherheits- und Compliance-Anforderungen
• Unterstützung bei der Automatisierung und Standardisierung der Betriebsprozesse (z. B. Self-Service Data Engineering, Data as a Service, Analytics as a Service)

Interessiert?

Sven Schäfer

Tel. : Fax. :

Email :

Share posting

Ihre Qualifikationen