Big data engineer • dusseldorf
Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks.Du ... Mehr anzeigen
We are building the next generation of AI-native engineering talent engineers who use AI as a core part of how they work, not as an add-on.As an AI Engineer (Software), you will design, build, and ... Mehr anzeigen
Unser Bereich Data Intelligence macht Unternehmensdaten transparent und jederzeit auswertbar, digitalisiert und automatisiert Datenprozesse, bereitet die IT auf zukünftige Herausforderungen vor und... Mehr anzeigen
Permanent Contract, Full- or Part-Time, Remote or Cologne / Düsseldorf / Darmstadt / Berlin.We are the tech powerhouse behind Kaufland’s international online marketplaces and a company within the S... Mehr anzeigen
Data Expert Meldewesen & IReF (m/w/d).Bei der apoBank fördern wir Existenzen, realisieren zukunftsweisende Projekte und sind ein starker und zuverlässiger Partner für den deutschen Gesundheitsmarkt... Mehr anzeigen
Boston Consulting Group partners with leaders in business and society to tackle their most important challenges and capture their greatest opportunities.BCG was the pioneer in business strategy whe... Mehr anzeigen
Data Warehouse Engineer (all genders) Düsseldorf, Detmold, Münster.Schutzengel • 330 Berufe • 5 Standorte • 33 Nationalitäten • 5.Als Provinzial Konzern sind wir Versicherer und Arbeitgeber der Reg... Mehr anzeigen
Deloitte bietet führende Prüfungs- und Beratungsleistungen in Audit & Assurance, Tax & Legal, Consulting und Advisory – für nahezu 90 % der Fortune Global 500® und zahlreiche private Unternehmen.Wi... Mehr anzeigen
Als Senior BI Consultant machst du unsere Kunden mit bimanu One erfolgreich — unserer Contextual Intelligence Plattform für den deutschen Mittelstand.Du verantwortest das Kunden-Onboarding end-to-e... Mehr anzeigen
Bonjour, Servus, Grüezi und Hallo, wir sind SPIE Germany Switzerland Austria.Technikbegeisterte an 750 Standorten in Deutschland, der Schweiz, Österreich und darüber hinaus, die sich gemeinsam mit ... Mehr anzeigen
Zu unseren Kunden gehören namenhafte Konzerne, die wir in der Herausforderung der Digitalisierung und insbesondere bei technologischen und fachlichen Fragestellungen im Data & Analytics Kontext unt... Mehr anzeigen
Zu unseren Kunden gehören namenhafte Konzerne, die wir in der Herausforderung der Digitalisierung und insbesondere bei technologischen und fachlichen Fragestellungen im Data & Analytics Kontext unt... Mehr anzeigen
Ganzheitliche Betreuung der Datenpipeline für das Online Performance Marketing.Aktive Weiterentwicklung der Cloud-Datenarchitektur.Beratung der Stakeholder bei der Planung, Durchführung und Auswert... Mehr anzeigen
Entwicklung von Cloud-basierten Datenprodukten:.Den gesamten Lebenszyklus moderner Datenlösungen begleitest du von der Konzeption über Entwicklung und Deployment bis zum produktiven Betrieb.Weitere... Mehr anzeigen
Als Teil der Capgemini-Gruppe schafft Sogeti durch Technologie Mehrwert für Organisationen, die Innovationen schnell umsetzen möchten und dazu lokal einen weltweit vertretenen Partner suchen.Mit ei... Mehr anzeigen
Huawei is a leading global provider of information and communications technology (ICT) infrastructure and smart devices.With integrated solutions across four key domains – telecom networks, IT, sma... Mehr anzeigen
Strategische Beratung, spannende (IT-)Projekte, attraktive Karrierechancen, Kontinuität, Sicherheit und Nachhaltigkeit – das alles findest du bei der msg Gruppe.Denn als unabhängige international a... Mehr anzeigen
Als Data Engineer bei PRODYNA erarbeitest Du im Team komplexe Lösungen in unterschiedlichen Projekten.Unsere Kunden kommen aus Branchen wie Luftfahrt, Banken und Chemie.Der enge Kontakt zu unseren ... Mehr anzeigen
Du setzt Salesforce Data Cloud in Kundenprojekten technisch um – von der Anbindung der Datenquellen über die Datenmodellierung bis zur Aktivierung in den Zielsystemen.Datenintegration und Architekt... Mehr anzeigen
Senior) Expert Material Master Data & End-to-End Product Data (m/w/d).Company: cbs Corporate Business Solutions Unternehmensberatung GmbH.Wir sind die Berater der Weltmarktführer: Hochmotivierte Ex... Mehr anzeigen
Das sind deine Aufgaben
Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.) zur effizienten Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks.
Du bindest verschiedene interne (z. B. Datenbanken, APIs) und externe Datenquellen (u. a. APIs, Web-Crawler) an.
Du stellst die technisch-operative Datenqualität und -konsistenz sicher, in dem du geeignete Validierungs- und Bereinigungsprozesse realisierst.
Du überwachst laufende Datenpipelines und Prozessen und behebst eventuelle Fehler im laufenden Betrieb.
Du arbeitest eng mit unseren Data Scientists, Data Analysts, Data Engineers und BI-Entwicklern zusammen, um die notwendigen Daten schnell, sicher und effizient bereitzustellen.
Du dokumentierst deine Arbeitsergebnisse strukturiert und adressatengerecht.
Das bringst du mit
Du hast ein abgeschlossenes Studium in Informatik, Data Engineering, Naturwissenschaften oder vergleichbarer Fachrichtung und erste Berufserfahrung im Bereich Data Engineering gesammelt.
Du hast Kenntnisse in der Entwicklung und Optimierung von Datenpipelines (ETL, ELT) idealerweise mit Spark und databricks.
Du hast Erfahrung in Python, SQL, Spark etc. mit klarem Fokus auf Data Engineering.
Du bringst ein gutes Grundverständnis für die Anbindung von Datenbanken, APIs etc. an eine Daten Plattform mit.
Die Umsetzung und Einhaltung hoher Datenschutz- und Sicherheitsanforderungen in einem regulierten Umfeld sind für dich Bestandteil deiner täglichen Arbeit.
Du strebst danach kontinuierlich neues zu lernen und dich vorlaufend weiterzuentwickeln.
Du verfügst über sehr gute Deutsch- und gute Englischkenntnisse in Wort und Schrift.
On top für dich / Deine Vorteile
30 Tage Urlaub + Rosenmontag frei
Flexible Arbeitszeiten und die Möglichkeit des mobilen Arbeitens an bis zu 2 Tagen pro Woche
Interne kostenlose Kursangebote, Fort- und Weiterbildungen
Betriebliche Gesundheitsförderung, Sport- und Erholungsangebote (Standort Neuss)
Unterstützung bei der betrieblichen Altersvorsorge
Familienfreundlich, private Zusatzversicherung, auch für Angehörige
Die Möglichkeit, neben dem Beruf zu studieren
Kommunikation auf Augenhöhe und regelmäßige Feedbackgespräche
After Work Veranstaltungen sowie Sommer- und Weihnachtsfeste (Standort Neuss)
Mitarbeiterangebote über Corporate Benefits oder Mitarbeitervorteile für z.B. Technik, Reisen oder Wohnen
Ausgestatte Küche mit Kaffee, Tee, Wasser und frischem Obst
Subventioniertes Mittagessen, das geliefert wird und ein Snackautomat mit süßen, gesunden oder warmen Snacks (Standort Neuss)
Überdachte kostenlose Parkplätze und abschließbare Fahrradstellplätze (Standort Neuss)
Gute Verkehrsanbindung mit öffentlichen Verkehrsmitteln
Die Möglichkeit auf ein JobRad und ein vergünstigtes Deutschlandticket
