Data Scientist – Databricks (m/w/d)

Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.

Für unseren Kunden suchen wir aktuell eine/n Data Scientist – Databricks (m/w/d) - Remote, Frankfurt am Main.

Ihre Aufgaben

• Beratung und Erarbeitung eines Zielbilds für die Data-Science-, AI- und MLOps-Arbeitsweise auf Azure Databricks, einschließlich Rollenmodellen, Verantwortungsabgrenzung und Lifecycle-Betrachtung von Modellen und Pipelines
• Konzeption einer standardisierten Arbeitsweise für klassische ML-Verfahren, Generative-AI-Use-Cases (z. B. LLM-basierte Anwendungen, RAG-Architekturen) sowie Agentic-AI-Ansätze auf Databricks
• Erarbeitung technischer Leitplanken für die Nutzung von Databricks (Notebooks, Jobs, MLflow, Feature Store, Model Serving, Vector Search, Unity Catalog) im AI- und ML-Kontext MLOps-, GenAI- und Agentic-AI-Standards
• Konzeption und Durchführung der Definition von MLOps-Standards für Entwicklung, Training, Versionierung, Deployment, Monitoring und Stilllegung von ML- und GenAI-Modellen (inkl. CI/CD- und Governance-Aspekten)
• Erarbeitung eines Vorgehensmodells für den Einsatz von Generative-AI-Komponenten (z. B. Prompt-Management, Modellwahl, Fine-Tuning vs. Inference-Only, Kostenkontrolle)
• Definition von Architekturmustern für Agentic-AI-Szenarien (z. B. Tool-Calling, Orchestrierung, Zu-standsmanagement, Sicherheits- und Kontrollmechanismen)
• Festlegung von Qualitäts-, Sicherheits- und Compliance-Kriterien für AI- und ML-Workloads (z. B. Nachvollziehbarkeit, Reproduzierbarkeit, Auditierbarkeit, Bias-Betrachtung) Daten- und Plattformintegration im AI-Kontext
• Beratung zur Nutzung bestehender Data-Lakehouse-Strukturen (Bronze/Silver/Gold) als Grundlage für Data-Science-, ML- und GenAI-Anwendungsfälle
• Konzeption der Anbindung relevanter Datenquellen (Batch, Streaming, Events, APIs) für Trainings-, Inferenz- und Evaluationsszenarien
• Erarbeitung von Standards zur Feature-Generierung, Feature-Verwaltung und Wiederverwendbarkeit (z. B. Feature Store) Migration und Weiterentwicklung bestehender Analyse-Workloads
• Beratung und Durchführung der Überführung bestehender Analyse- und Modellierungsansätze in standardisierte, produktionsnahe ML- und AI-Workflows auf Azure Databricks
• Erarbeitung von Migrations- und Transformationskonzepten zur Ablösung oder Integration bestehender Analyseplattformen in die neue Arbeitsweise Governance, Sicherheit und Betrieb
• Konzeption von Governance- und Zugriffsmodellen für AI-, GenAI- und ML-Artefakte unter Nutzung von Unity Catalog und AAD-basierter Authentifizierung
• Beratung zur Einhaltung von Datenschutz-, Compliance- und Informationssicherheitsanforderungen im Kontext von KI-basierten Verfahren
• Erarbeitung von Monitoring-, Logging- und Kostenkontrollkonzepten für AI- und ML-Workloads auf Azure Databricks Dokumentation, Enablement und Wissenstransfer
• Erstellung von Architektur-, Betriebs- und Nutzungskonzepten zur nachhaltigen Anwendung der definierten Arbeitsweise
• Durchführung von Workshops, Schulungen und Wissenstransfermaßnahmen zur Vermittlung der AI-, GenAI-, Agentic-AI- und MLOps-Standards an relevante Stakeholder
• Dokumentation von Best Practices, Templates und Referenzimplementierungen für eine konsistente Nutzung der Plattform

Interessiert?

Sven Schäfer

Tel.:
Fax.:
Email:

Share posting

Ihre Qualifikationen

• (MUSS) Fundierte Kenntnisse der Databricks-Platt-form, belegt durch relevante Databricks-Zertifizierungen auf Professional-Level (insbesondere Databricks Certified Data Engineer Professional und Databricks Certified Machine Learning Engineer Professional) sowie der nachgewiesene aktive Einsatz von Databricks in mindestens 2 Projekten.
• (MUSS) Mehrjährige Erfahrung (mehr als 3 Jahre) im Aufbau, Betrieb und der Weiterentwicklung von Datenplattformen / Data La-kes in Cloud-Umgebungen. Mindestens 2 Projekte mit je ≥ 12 Monaten Laufzeit sind im CV nachvollziehbar dokumentiert.
• (MUSS) Nachweislich umfangreiche Kenntnisse von Cloud-Managed-Services, insbesondere Microsoft Azure, belegt durch einschlägige Projekterfahrung sowie relevante Zertifizierungen auf Architect- bzw. Administrator-Level (z. B. Microsoft Certified: Azure Solutions Architect Expert, Microsoft Certified: Azure Administrator Associate).
• (SOLL) Erfahrung mit Infrastructure as Code (IaC) zur automatisierten Bereitstellung von Cloud-Infrastruktur, insbesondere mit Terraform und Databricks Asset Bundles; Kenntnisse in AWS CDK sind von Vorteil. Der Nachweis erfolgt durch entsprechende Projektpraxis sowie eine einschlägige Terraform-Zertifizierung.
• (SOLL) Praktische Erfahrung im Aufbau von MLOps in mindestens 1 Projekt mit ≥ 6 Monaten Laufzeit unter Einsatz von MLFlow.
• (SOLL) Deutsch in Wort und Schrift – Le-vel B2 / C1 / C2 etc. oder äquivalent.