At TechBiz Global, we are providing recruitment service to our TOP clients from our portfolio. We are currently seeking an Senior AI DevOps / LLMOps specialist to join one of our clients' teams. If you're looking for an exciting opportunity to grow in a innovative environment, this could be the perfect fit for you.
Key Responsibilities
Automation of Build-to-Production
- Design and implement robust CI/CD pipelines tailored for AI, covering model weights,
dataset versioning, and application code.
- Develop specialized workflows for PromptOps, ensuring that system prompts are
version-controlled, tested for regressions, and deployed with the same rigor as traditional
code.
-Automate the deployment of Agentic workflows, managing the complexities of stateful
AI interactions and multi-agent handoffs.
2. AI Infrastructure as Code (IaC)
- Provision and manage high-performance compute environments (GPU clusters, TPU
pods) using Terraform, Pulumi, or Ansible.
- Define and enforce Policy-as-Code for AI endpoints to ensure compliance with security,
cost-usage limits, and data residency requirements.
- Maintain a consistent environment across Hybrid Infrastructure, ensuring seamless
parity between On-Premises development and Cloud production.
3. Safe Experimentation & Controlled Releases
- Architect Progressive Delivery strategies for AI, including Canary releases, Blue-Green
deployments, and Shadowing (where new models run in parallel with production to
compare outputs).
- Build “Evaluation-in-the-Loop” gates within the pipeline to automatically test for bias,
hallucination, and performance degradation before a release.
- Implement A/B testing frameworks specifically designed for LLM outputs and agentic
behavior.
4. Monitoring & Observability
- Establish deep observability into Inference Endpoints, tracking metrics like tokens-per-
second, latency, and drift in model accuracy.
-Integrate feedback loops that capture production “edge cases” to feed back into the
training and fine-tuning pipelines.
Must-Have Technical Skills:
-Orchestration: Advanced Kubernetes (K8s) skills, specifically with KubeFlow, Ray, or
NVIDIA Triton.
-CI/CD & IaC: Expertise in GitHub Actions/GitLab CI, and Terraform or Pulumi.
- AI Tooling: Experience with Weights & Biases, MLflow, LangSmith, or Arize
Phoenix.
-Hardware: Understanding of GPU virtualization, CUDA drivers, and on-premises
hardware management.
-Security: Familiarity with Open Policy Agent (OPA) and secret management (Vault).
Experience:
- 10+ years in DevOps, SRE, or Cloud Engineering.
- 2+ years of hands-on experience in MLOps or LLMOps, specifically moving LLMs
from notebook to production.
-Proven experience managing Hybrid Cloud environments (e.g., AWS/Azure + Private
Data Center).
Senior AI DevOps / LLMOps • Dusseldorf, NW, DE
Our digital innovation centre WEPA.Senior Cloud Architect (m/f/d).Key to our mission is a central platform spanning cloud and on-premise technology that serves as the backbone for our connected fut... Mehr anzeigen
In dieser Rolle übernehmen Sie die technische Verantwortung für die Entwicklung, Anpassung und Härtung von.Ein zentraler Schwerpunkt liegt auf der Implementierung von.Absicherung der Systemintegrit... Mehr anzeigen
Fundierte IT Kenntnisse: Erfahrung in der Systemadministration, idealerweise Praxiswissen in Microsoft 365, PowerShell, Windows Systemen.Infrastruktur Verstndnis: Grundkenntnisse in Netzwerken, Ser... Mehr anzeigen
Bereich Digitalisierung, Analytics & KI.Solution Cloud Architect (w/m/d).Original Stellenanzeige auf StepStone. Mehr anzeigen
AI Engineer / LLM Engineer (m/w/d).Standort / Arbeitszeit: Vollzeit - Duisburg.Entwicklung intelligenter AI-Agenten und moderner Conversational-AI-Lösungen für Enterprise-Anwendungen.Konzeption, Au... Mehr anzeigen
Als erfahrener Professional überzeugst du unsere Kunden durch ein souveränes Auftreten und fundiertes Wissen in Cloud- sowie Container-Technologien.Mit deinem empirisch-agilen Mindset entwickelst d... Mehr anzeigen
Umfangreiche software-/prozessbezogene Erfahrungen in der Finanzbranche, insbesondere im Wertpapierbereich.Umfassende Erfahrung als Projektleiter/-manager in der Entwicklung und Implementierung kom... Mehr anzeigen
Über unsere Plattform Huacaya: Huacaya ist unsere On-Premise-Plattform für KI-Entwicklung und -Deployment.Die Plattform deckt den gesamten KI-Lebenszyklus ab und bietet Unternehmen eine robuste Gru... Mehr anzeigen
Projektspezialist für den Transport und die Lagerung besonders hochwertiger und sensibler Waren.Als weltweit agierendes und inhabergeführtes Logistikunternehmen mit Hauptsitz in Köln-Frechen kümmer... Mehr anzeigen
Technische Expertise: Tiefgreifende Kenntnisse in Apex, Lightning Web Components, Flows und REST APIs sowie fundiertes Verstndnis der Salesforce-Architektur, insbesondere CRM und Sales Cloud.Ideale... Mehr anzeigen
Senior Google Cloud & AI Architect (m/w/d).Als Senior Google Cloud/AI Architect bist du für das Design, die Implementierung und die Optimierung unserer Cloud-Lösungen verantwortlich.Du arbeitest en... Mehr anzeigen
Starte Deine Zukunft im Bereich.IU Internationalen Hochschule (IU).Bereit für eine Karriere, die Deine Leidenschaft für Technologie mit echten Herausforderungen und Erfolgen verbindet? Als Full-Ser... Mehr anzeigen
Abgeschlossenes technisches Studium (z.Nachrichten-, Elektro- oder Informationstechnik) oder gleichwertige Qualifikation.Mehrjhrige Erfahrung im Bereich technische Entwicklung oder hnliches.Strateg... Mehr anzeigen
Starte Deine Zukunft im Bereich.IU Internationalen Hochschule (IU).Dein Praxispartner - Interaktiv GmbH: .Bereit für eine Karriere, die Deine Leidenschaft für Technologie mit echten Herausforderung... Mehr anzeigen
Mehrjhrige Erfahrung im Bereich DevOps, Systemadministration oder Softwareentwicklung.Erfahrung mit Container-Technologien (z.Fundierte Kenntnisse in CI/CD-Tools (z.Kenntnisse in Programmiersprache... Mehr anzeigen
Unser Ziel: hochkomplexe, manuelle Ablufe radikal zu vereinfachen durch moderne Software, Automatisierung und KI.Wir arbeiten produktnah, datengetrieben und mit hohem Qualittsanspruch in einem amb... Mehr anzeigen
At TechBiz Global, we are providing recruitment service to our TOP clients from our portfolio.If you're looking for an exciting opportunity to grow in a innovative environment, this could be the pe... Mehr anzeigen
Du denkst Plattformen nicht nur technisch, sondern strategisch? Automatisierung, Cloud und DevOps sind für dich kein Buzzword, sondern tägliche Praxis? Dann könnte diese Rolle genau das Richtige se... Mehr anzeigen
Standort / Arbeitszeit: Vollzeit - Duisburg.Wir entwickeln eine modulare Enterprise-Plattform für digitale Transformation, Automatisierung und künstliche Intelligenz - mit dem Ziel, Unternehmen zuk... Mehr anzeigen
Abgeschlossenes Studium im Bereich Informatik oder eine vergleichbare Ausbildung.Mindestens 5 Jahre relevante Berufserfahrung.Fundierte Erfahrung in der Datenbankentwicklung mit SQL (idealerweise M... Mehr anzeigen
