Data Scientist – Knime (m/w/d)

Westhouse ist eines der führenden internationalen Recruitment Unternehmen für die Vermittlung von hochqualifizierten Fachexperten in Bereichen wie IT Life Cycle, SAP, Engineering, Kaufmännischem und Fachberatung.

Für unseren Kunden suchen wir aktuell eine/n Data Scientist – Knime (m/w/d) - Remote, Frankfurt am Main.

Ihre Aufgaben

• Beratung und Durchführung der Architekturkonzeption für ein einheitliches, skalierbares und sicheres Data-Lakehouse auf Basis von Azure Databricks unter Berücksichtigung von Performance-, Sicherheits-, Governance- und Betriebsanforderungen
• Erarbeitung und Umsetzung einer Zielarchitektur für ein cloudbasiertes Data Lakehouse einschließlich logischer und physischer Architektur, Schichtenmodell (z. B. Bronze/Silver/Gold), Mandantenfähigkeit und Erweiterbarkeit
• Durchführung des technischen Aufbaus und der Konfiguration der Data-Lakehouse-Plattform in Azure Databricks, einschließlich Workspace-Strukturen, Zugriffsmodellen, Unity Catalog, Identitäts- und Berechtigungskonzepten (Azure Active Directory)
• Konzeption und Umsetzung der Nutzung zentraler Speichersysteme (Azure Data Lake Storage Gen2 und AWS S3) als persistente Datenebene für strukturierte, semi-strukturierte und unstrukturierte Da-ten
• Beratung und Durchführung der Migration der bestehenden KNIME Analytics Platform und des KNIME Business Hub in die Zielarchitektur, einschließlich Analyse der bestehenden Workflows, Abhängigkeiten und Betriebsmodelle
• Erarbeitung und Umsetzung eines Migrationskonzepts für KNIME-basierte Datenverarbeitungspro-zesse unter Berücksichtigung von Datenintegrität, Nachvollziehbarkeit, Performance und Betriebsstabilität
• Durchführung der technischen Anpassung und Transformation bestehender Analyse- und Datenverarbeitungslogiken zur Integration in das Data-Lakehouse-Konzept (z. B. Ablösung oder Neustrukturierung von KNIME-Workflows)
• Erarbeitung und Standardisierung von Workflow-, Pipeline- und Komponenten-Templates zur einheitlichen Entwicklung, Wartung und Erweiterung von Datenverarbeitungsprozessen (z. B. ETL/ELT, Batch- und Streaming-Verarbeitung)
• Durchführung der Automatisierung von Entwicklungs-, Test- und Bereitstellungsprozessen (z. B. CI/CD) für Datenpipelines, Konfigurationsartefakte und Plattformkomponenten
• Konzeption und Umsetzung von Betriebs-, Monitoring- und Fehlerbehandlungsmechanismen für die Data-Lakehouse-Plattform und die migrierten Analyseprozesse
• Erarbeitung von Dokumentationen, Architektur- und Betriebskonzepten zur nachhaltigen Nutzung, Erweiterung und Wartung der Plattform
• Durchführung von Workshops und Wissenstransfermaßnahmen zur Vermittlung der Zielarchitektur, Migrationsansätze, Standards und Best Practices im Kontext Data Lakehouse und KNIME-Migration

Interessiert?

Sven Schäfer

Tel.:
Fax.:
Email:

Share posting

Ihre Qualifikationen

• (MUSS) 5 Jahre Erfahrung im Umgang mit Databricks (Workspace, Notebooks, MLflow, Delta Lake, Datenvirtuali-sierung und Data-Sharing-Konzepten)
• (MUSS) 5 Jahre Erfahrung mit typische Senior-Data-Scientist-Aufgaben im Customer-Analytics-Um-feld (z. B. Entwicklung und Operationalisierung von ML-Modellen, Feature Engineering, Modellvalidierung und -überwachung, Aufbau produktionsreifer ML-Pipe-lines, Migration analytischer Workloads von KNIME nach Azure Databricks, Anwendung der Medallion-Architektur sowie Einsatz von MLflow/MLOps)
• (MUSS) Erfahrung in der Architektur und Umsetzung produktiver KI-Lösungen auf Databricks Azure aus 5 Projekten
• (MUSS) 5 Jahre Erfahrung in den im Technologiekatalog geforderten Bereichen eines Senior Data Scientist (z. B. Spark/PySpark, Azure Databricks/Delta Lake, MLflow/MLOps, Feature Engineering (Feature Store, PySpark, Dataframes, ETL-Prozesse, Datenmodellierung)
• (SOLL) Besitz des ML Engineer Badge von Databricks
• (SOLL) 5 Jahre Erfahrung in der Implementierung von Data- und ML-Governance auf Basis von Azure Databricks, einschließlich Nutzung der MLflow Model Re-gistry mit Freigabe-/Approval-Workflows, Monitoring sowie Er-kennung und Management von Modell-Drift und Bias.
• (SOLL) Deutsch in Wort und Schrift – Level B2 / C1 / C2 etc. oder äquivalent.