Big data engineer • dusseldorf
Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks.Du ... Mehr anzeigen
Unser Bereich Data Intelligence macht Unternehmensdaten transparent und jederzeit auswertbar, digitalisiert und automatisiert Datenprozesse, bereitet die IT auf zukünftige Herausforderungen vor und... Mehr anzeigen
Permanent Contract, Full- or Part-Time, Remote or Cologne / Düsseldorf / Darmstadt / Berlin.We are the tech powerhouse behind Kaufland’s international online marketplaces and a company within the S... Mehr anzeigen
Data Expert Meldewesen & IReF (m/w/d).Bei der apoBank fördern wir Existenzen, realisieren zukunftsweisende Projekte und sind ein starker und zuverlässiger Partner für den deutschen Gesundheitsmarkt... Mehr anzeigen
Boston Consulting Group partners with leaders in business and society to tackle their most important challenges and capture their greatest opportunities.BCG was the pioneer in business strategy whe... Mehr anzeigen
Wir verantworten die Sicherheit unserer Kunden.Als einer der führenden Dienstleister für elektrische Betriebssicherheit in Deutschland prüfen wir bundesweit elektrische Betriebsmittel, Anlagen und ... Mehr anzeigen
Data Warehouse Engineer (all genders) Düsseldorf, Detmold, Münster.Schutzengel • 330 Berufe • 5 Standorte • 33 Nationalitäten • 5.Als Provinzial Konzern sind wir Versicherer und Arbeitgeber der Reg... Mehr anzeigen
Zu unseren Kunden gehören namenhafte Konzerne, die wir in der Herausforderung der Digitalisierung und insbesondere bei technologischen und fachlichen Fragestellungen im Data & Analytics Kontext unt... Mehr anzeigen
Bonjour, Servus, Grüezi und Hallo, wir sind SPIE Germany Switzerland Austria.Technikbegeisterte an 750 Standorten in Deutschland, der Schweiz, Österreich und darüber hinaus, die sich gemeinsam mit ... Mehr anzeigen
Deloitte bietet führende Prüfungs- und Beratungsleistungen in Audit & Assurance, Tax & Legal, Consulting und Advisory – für nahezu 90 % der Fortune Global 500® und zahlreiche private Unternehmen.Wi... Mehr anzeigen
Huawei is a leading global provider of information and communications technology (ICT) infrastructure and smart devices.With integrated solutions across four key domains – telecom networks, IT, sma... Mehr anzeigen
Ganzheitliche Betreuung der Datenpipeline für das Online Performance Marketing.Aktive Weiterentwicklung der Cloud-Datenarchitektur.Beratung der Stakeholder bei der Planung, Durchführung und Auswert... Mehr anzeigen
Sie sind ein wichtiger Teil des (Gen-)AI-Umsetzungsteams, wirken in strategischen (Gen-)AI-Projekten mit und bereiten große strukturierte, semi- und unstrukturierte Datenmengen auf, um diese für (G... Mehr anzeigen
Join Envalior - Imagine The Future!.At Envalior, we are seeking a talented.At Envalior, the future of high-performance materials isn't just being shaped; it's being pioneered.A belief in fostering ... Mehr anzeigen
Gemeinsam mit unserem Team entwickelst und optimierst du moderne Datenprodukte für multi-nationale Projekte in einer globalen Unternehmensgruppe.Du verbindest technisches Know-how mit einem Verstän... Mehr anzeigen
Strategische Beratung, spannende (IT-)Projekte, attraktive Karrierechancen, Kontinuität, Sicherheit und Nachhaltigkeit – das alles findest du bei der msg Gruppe.Denn als unabhängige international a... Mehr anzeigen
Als Data Engineer bei PRODYNA erarbeitest Du im Team komplexe Lösungen in unterschiedlichen Projekten.Unsere Kunden kommen aus Branchen wie Luftfahrt, Banken und Chemie.Der enge Kontakt zu unseren ... Mehr anzeigen
You will work in an innovative and fast-growing environment, leveraging your strong communication skills to turn data into tangible business value for the company.You will collaborate closely with ... Mehr anzeigen
Senior) Expert Material Master Data & End-to-End Product Data (m/w/d).Company: cbs Corporate Business Solutions Unternehmensberatung GmbH.Wir sind die Berater der Weltmarktführer: Hochmotivierte Ex... Mehr anzeigen
Das sind deine Aufgaben
Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.) zur effizienten Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks.
Du bindest verschiedene interne (z. B. Datenbanken, APIs) und externe Datenquellen (u. a. APIs, Web-Crawler) an.
Du stellst die technisch-operative Datenqualität und -konsistenz sicher, in dem du geeignete Validierungs- und Bereinigungsprozesse realisierst.
Du überwachst laufende Datenpipelines und Prozessen und behebst eventuelle Fehler im laufenden Betrieb.
Du arbeitest eng mit unseren Data Scientists, Data Analysts, Data Engineers und BI-Entwicklern zusammen, um die notwendigen Daten schnell, sicher und effizient bereitzustellen.
Du dokumentierst deine Arbeitsergebnisse strukturiert und adressatengerecht.
Das bringst du mit
Du hast ein abgeschlossenes Studium in Informatik, Data Engineering, Naturwissenschaften oder vergleichbarer Fachrichtung und erste Berufserfahrung im Bereich Data Engineering gesammelt.
Du hast Kenntnisse in der Entwicklung und Optimierung von Datenpipelines (ETL, ELT) idealerweise mit Spark und databricks.
Du hast Erfahrung in Python, SQL, Spark etc. mit klarem Fokus auf Data Engineering.
Du bringst ein gutes Grundverständnis für die Anbindung von Datenbanken, APIs etc. an eine Daten Plattform mit.
Die Umsetzung und Einhaltung hoher Datenschutz- und Sicherheitsanforderungen in einem regulierten Umfeld sind für dich Bestandteil deiner täglichen Arbeit.
Du strebst danach kontinuierlich neues zu lernen und dich vorlaufend weiterzuentwickeln.
Du verfügst über sehr gute Deutsch- und gute Englischkenntnisse in Wort und Schrift.
On top für dich / Deine Vorteile
30 Tage Urlaub + Rosenmontag frei
Flexible Arbeitszeiten und die Möglichkeit des mobilen Arbeitens an bis zu 2 Tagen pro Woche
Interne kostenlose Kursangebote, Fort- und Weiterbildungen
Betriebliche Gesundheitsförderung, Sport- und Erholungsangebote (Standort Neuss)
Unterstützung bei der betrieblichen Altersvorsorge
Familienfreundlich, private Zusatzversicherung, auch für Angehörige
Die Möglichkeit, neben dem Beruf zu studieren
Kommunikation auf Augenhöhe und regelmäßige Feedbackgespräche
After Work Veranstaltungen sowie Sommer- und Weihnachtsfeste (Standort Neuss)
Mitarbeiterangebote über Corporate Benefits oder Mitarbeitervorteile für z.B. Technik, Reisen oder Wohnen
Ausgestatte Küche mit Kaffee, Tee, Wasser und frischem Obst
Subventioniertes Mittagessen, das geliefert wird und ein Snackautomat mit süßen, gesunden oder warmen Snacks (Standort Neuss)
Überdachte kostenlose Parkplätze und abschließbare Fahrradstellplätze (Standort Neuss)
Gute Verkehrsanbindung mit öffentlichen Verkehrsmitteln
Die Möglichkeit auf ein JobRad und ein vergünstigtes Deutschlandticket
