Talent.com
EXXETA
AI Inference Engineer (all genders)EXXETA • Karlsruhe
AI Inference Engineer (all genders)

AI Inference Engineer (all genders)

EXXETA • Karlsruhe
Vor 30+ Tagen
Stellenbeschreibung
Was erwartet dich
  • Du konzipierst, entwickelst und betreibst produktive LLM-Inferenzplattformen für Kunden mit hohen Anforderungen an Datensouveränität, Sicherheit und Betriebskontrolle – on-premises, in privaten Cloud-Umgebungen oder souveränen europäischen Cloud-Setups.
  • Gemeinsam mit Cloud-, Plattform-, Security- und Data-Engineering-Teams sowie unseren Kunden überführst du AI-Use-Cases in den produktiven Betrieb.
  • Dabei integrierst du moderne Inferenz-Engines und Open-Weights-Modelle in Kubernetes-, Container- und Plattformumgebungen.
  • Außerdem planst und optimierst du GPU- und Speicherressourcen sowie Inferenz-Workloads: Von Modellgrößen, Quantisierung und Batching bis hin zu KV-Cache-Strategien, Latenz, Durchsatz und Kosten.
  • Du verantwortest die Runtime produktiver AI-Systeme, inklusive Modellserving, APIs, Authentifizierung, Secrets, Observability, Logging
  • Aus Kundenprojekten entwickelst du wiederverwendbare Referenzarchitekturen, Deployment-Templates und Betriebs-Playbooks und stärkst so unsere Applied-AI-Capability.

Was erwarten wir von dir

  • Persönlicher Background: Erfahrung in Platform Engineering, Cloud Infrastructure, MLOps, LLMOps, DevOps, Backend Engineering oder Machine Learning Engineering. Entscheidend ist deine Erfahrung im Aufbau und Betrieb produktiver Systeme und dein Antrieb zu schneller persönlicher Weiterentwicklung
  • Inference Engineering: Du verstehst die technischen und wirtschaftlichen Zusammenhänge moderner LLM-Inferenz, von Model-Serving und GPU-Auslastung über Quantisierung, Batching und KV-Cache-Management bis hin zu Latenz, Durchsatz und Kosten.
  • Cloud & Plattformen: Docker, Kubernetes, Helm, Terraform, CI/CD, Linux sowie Observability gehören für dich zum Arbeitsalltag.
  • AI-Verständnis: Du kannst Transformer-basierte Modelle wie LLMs und Embeddings einordnen und fundierte technische Entscheidungen für produktive AI-Systeme treffen.
  • Security & Governance: Themen wie Identitäten, Berechtigungen, Secrets, Logging, Auditierung und Compliance denkst du, insbesondere in regulierten Umgebungen, von Anfang an mit.
  • Kommunikation & Arbeitsweise: Du vermittelst komplexe technische Zusammenhänge verständlich, arbeitest pragmatisch und bewegst dich auch in dynamischen Projektumfeldern sicher.
  • Pluspunkt: Erfahrung mit vLLM, SGLang oder vergleichbaren Inference-Technologien, GPU-Clustern, souveränen Cloud- oder Private-Cloud-Umgebungen.
  • On the road: Du bist reisebereit und flexibel, unsere Kunden bundesweit vor Ort zu beraten.
  • Let's talk: Du sprichst fließend Deutsch und Englisch - super, dann findest du dich bei Exxeta bestens zurecht

Warum Exxeta

Bei Exxeta entwickeln wir digitale Lösungen, die wirklich etwas verändern – in Unternehmen, Märkten und Köpfen. Über 1200 Kolleg:innen bringen dafür Technologie, Ideen und unterschiedliche Perspektiven zusammen. Was uns antreibt: Neugier, Teamspirit und der Anspruch, echten Impact zu schaffen. Hightech with a heartbeat eben.

Jobalert für diese Suche erstellen

AI Inference Engineer (all genders) • Karlsruhe

Ähnliche Stellen

Data Engineer – Business Intelligence (BI) (f/m/d)

GMX, WEB.DE & mail.comkarlsruhe, baden württemberg, Deutschland

As a Data Engineer in our Portal BI Team in Karlsruhe, you operate at the core of our data warehouse ecosystem.You integrate new data sources, design and build reliable end-to-end data pipelines, a... Mehr anzeigen

 • Gesponsert

KI - Künstliche Intelligenz (m/w/d) für Quereinsteiger!

Match4Solutions GmbHmannheim, baden württemberg, Deutschland

KI - Künstliche Intelligenz (m/w/d) für Quereinsteiger! in Mannheim.Starte Deine Karriere in Künstlicher Intelligenz (KI) – auch als Quereinsteiger! (m/w/d) in MannheimDu möchtest in die fasziniere... Mehr anzeigen

 • Gesponsert

Senior AI DevOps / LLMOps

United States Digital Space LLCbaden baden, baden württemberg, Deutschland

At the company, we are providing recruitment service to our TOP clients from our portfolio.We are currently seeking an Senior AI DevOps / LLMOps specialist to join one of our clients' teams.If you'... Mehr anzeigen

 • Gesponsert

Projektleiter KI & Digitalisierung (f/m/d)

Leica MicrosystemsMannheim, Mannheim (Kreis), Baden-Württemberg

Sind Sie bereit, Ihr Potenzial voll auszuschöpfen und in den Bereichen Life Sciences, Diagnostik und Biotechnologie wirklich etwas zu bewegen? Bei Leica Microsystems, einem der über 15 operativen U... Mehr anzeigen

 • Gesponsert

KI-Künstliche Intelligenz Gaming Manager (m/w/d) – Quereinsteiger willkommen!

Match4Solutions GmbHmannheim, baden württemberg, Deutschland

Möchtest du in die spannende Welt der Künstlichen Intelligenz eintauchen und deine Karriere in einem zukunftsweisenden Bereich starten?.KI-Künstliche Intelligenz Gaming Manager (m/w/d) – Quereinste... Mehr anzeigen

 • Gesponsert

KI Prompt Engineer/AI Consultant (m/w/d) – 100% remote

mycareernow GmbHBaden‑Baden, DE
Homeoffice

AZAV zertifizierter Bildungsträger mit klarem Fokus auf Projektmanagement und Künstliche Intelligenz.Unsere praxisnahen Weiterbildungen bereiten dich gezielt auf den nächsten Karriereschritt vor – ... Mehr anzeigen

AI-Developer - Public Sector & Energy (w/m/d)

PwC Deutschlandmannheim, baden württemberg, Deutschland

Für unseren Geschäftsbereich Transformation suchen wir dich zum nächstmöglichen Zeitpunkt als AI-Developer – Public Sector & Energy (w/m/d).Du arbeitest in unserem cross-funktionalen Team Hand in H... Mehr anzeigen

 • Gesponsert

Team Lead Data & AI Engineering (all genders)

EXXETA AGkarlsruhe, baden württemberg, Deutschland

Du übernimmst die Verantwortung für ein Team aus Data-, Plattform- und AI-Engineering-Spezialist:innen innerhalb der Exxeta.Unterstütze Kolleg:innen bei ihrer fachlichen und persönlichen Weiterentw... Mehr anzeigen

 • Gesponsert

AI Product Analyst (w/m/d)

1und1karlsruhe, baden württemberg, Deutschland

Mit Pioniergeist, ungewöhnlichen Ideen und kreativen Teams haben wir eine führende Marktstellung im Mobilfunk und bei Breitband-Anschlüssen erobert.Durch die Kombination des über 67.Glasfasernetzes... Mehr anzeigen

 • Gesponsert

QSMP Cloud Engineer (m/w/d)

QUNDIS GmbHErfurt, Mannheim, Maribor (Slowenien), Deutschland

CI/CD-Tools Affinität für agile Arbeitsweisen und Tool, idealerweise Erfahrungen mit Jira Idealerweisung Erfahrungen in KI-gestützter Programmierung Begeisterung für neue Technologien, Digita... Mehr anzeigen

 • Gesponsert

(Senior) Full Stack AI Engineer (F/M/X) - Hamburg or Mannheim

HUBBLR GmbHMannheim, Baden-Württemberg, Germany

Everyone at HUBBLR is obsessed about building innovative products with our clients and we hope you are as well.We take pride in believing that the way product should be build in 2026 is a fast movi... Mehr anzeigen

Data Engineer – Business Intelligence (BI) (w/m/d)

GMX, WEB.DE & mail.comkarlsruhe, baden württemberg, Deutschland

Als Data Engineer in unserem Portal BI Team in Karlsruhe arbeitest Du im Zentrum unseres Data Warehouse Ökosystems.Du integrierst neue Datenquellen, entwirfst und baust zuverlässige End to End Date... Mehr anzeigen

 • Gesponsert

Sales Engineer Photonics (m/f/d)

Nanoscribe GmbH & Co. KGEggenstein-Leopoldshafen, Asien, Australien, DE

We strive for excellence - with this mission in mind, Nanoscribe develops and produces solutions for 3D microfabrication.As a pioneer in high-precision additive manufacturing, we are the technology... Mehr anzeigen

 • Gesponsert

Software Engineer - Smart Factory Solutions (w/m/d)

SEW-EURODRIVE GmbH & Co KGGraben-Neudorf bei Karlsruhe, DE

Das verdanken wir weltweit und branchenübergreifend mehr als 22.Mitarbeitenden in über 57 Ländern.In unserem Bereich Production Management Digital Operations gestalten Sie aktiv die digitale Transf... Mehr anzeigen

 • Gesponsert

Data Engineer – Business Intelligence (BI) (w/m/d)

Mail & Media GmbH.karlsruhe, baden württemberg, Deutschland

Als Data Engineer in unserem Portal BI Team in Karlsruhe arbeitest Du im Zentrum unseres Data Warehouse Ökosystems.Du integrierst neue Datenquellen, entwirfst und baust zuverlässige End to End Date... Mehr anzeigen

 • Gesponsert

Senior UX Designer (w/m/d) AI Agent Conversational Experience

IONOSkarlsruhe, baden württemberg, Deutschland

Bei IONOS arbeitest Du bei dem führenden europäischen Anbieter von Cloud‑Infrastruktur, Cloud‑Services und Hosting‑Dienstleistungen partnerschaftlich mit unterschiedlichen Teams zusammen.Wir bieten... Mehr anzeigen

 • Gesponsert

Praktikant (m/w/d) Bauingenieurwesen - Praxis im Tunnelbau vor Ort

PORR GmbH & Co. KGaAForbach, DE

Original Stellenanzeige auf StepStone. Mehr anzeigen

 • Gesponsert

Senior DevOps Engineer (m/w/d)

PACE Mobility GmbHKarlsruhe, DE

Wir betreiben eine Payment-Plattform, bei der Verfügbarkeit kein Qualitätsmerkmal ist, sondern Grundvoraussetzung: Echtzeit-Transaktionen an der Zapfsäule, auf die sich Millionen Fahrer täglich ver... Mehr anzeigen

 • Gesponsert

Senior Product Engineer (AI & Business Systems) (w/m/d)

PAUL Tech AGmannheim, baden württemberg, Deutschland

PAUL macht Bestandsgebäude fit für eine klimaneutrale Zukunft.Als Technologieführer der Immobilienwirtschaft verbinden wir mit PAUL Net Zero künstliche Intelligenz, IoT-Hardware und Wärmepumpen zu ... Mehr anzeigen

 • Gesponsert

Ingenieur Explosionsschutz elektrische Anlagen (w/m/d)

TÜV SÜD AGBaden-Baden, DE

Innovationen bringen tiefgreifende Veränderungen mit sich und beeinflussen unser Leben in vielfältiger Weise.Bei der TÜV SÜD Gruppe sind wir in hohem Maße bestrebt, ein wichtiger Teil dieser Entwic... Mehr anzeigen