Talent.com
MCP & Tools Python Developer - Agent Evaluation Infrastructure
MCP & Tools Python Developer - Agent Evaluation InfrastructureMindrift • Hamburg, HH, DE
MCP & Tools Python Developer - Agent Evaluation Infrastructure

MCP & Tools Python Developer - Agent Evaluation Infrastructure

Mindrift • Hamburg, HH, DE
Vor 4 Tagen
Anstellungsart
  • Homeoffice
  • Quick Apply
Stellenbeschreibung

This opportunity is only for candidates currently residing in the specified country. Your location may affect eligibility and rates. Please submit your resume in English and indicate your level of English proficiency.

At Mindrift , innovation meets opportunity. We believe in using the power of collective human intelligence to ethically shape the future of AI.

What we do

The Mindrift platform, launched and powered by Toloka , connects domain experts with cutting-edge AI projects from innovative tech clients. Our mission is to unlock the potential of GenAI by tapping into real-world expertise from across the globe.

Who we're looking for

Calling all security researchers, engineers, and penetration testers with a strong foundation in problem-solving, offensive security, and AI-related risk assessment.

If you thrive on digging into complex systems, uncovering hidden vulnerabilities, and thinking creatively under constraints, join us!

We’re looking for someone who can bring a hands-on approach to technical challenges, whether breaking into systems to expose weaknesses or building secure tools and processes. We value contributors with a passion for continuous learning, experimentation, and adaptability.

About the project

We’re on the hunt for hands-on Python engineers for a new project focused on developing Model Context Protocol (MCP) servers and internal tools for running and evaluating agent behavior. You’ll implement base methods for agent action verification, integrate with internal and client infrastructures, and help fill tooling gaps across the team.

What you’ll be doing :

  • Developing and maintaining MCP-compatible evaluation servers
  • Implementing logic to check agent actions against scenario definitions
  • Creating or extending tools that writers and QAs use to test agents
  • Working closely with infrastructure engineers to ensure compatibility
  • Occasionally helping with test writing or debug sessions when needed

Although we’re only looking for experts for this current project, contributors with consistent high-quality submissions may receive an invitation for ongoing collaboration across future projects.

How to get started :

Apply to this post, qualify, and get the chance to contribute to a project aligned with your skills, on your own schedule. Shape the future of AI while building tools that benefit everyone.

Requirements

The ideal contributor will have :

  • 4+ years of Python development experience, ideally in backend or tools
  • Solid experience building APIs, testing frameworks, or protocol-based interfaces
  • Understanding of Docker, Linux CLI, and HTTP-based communication
  • Ability to integrate new tools into existing infrastructures
  • Familiarity with how LLM agents are prompted, executed, and evaluated
  • Clear documentation and communication skills - you’ll work with QA and writers
  • We also value applicants who have :

  • Experience with Model Context Protocol (MCP) or similar structured agent-server interfaces
  • Knowledge of FastAPI or similar async web frameworks
  • Experience working with LLM logs, scoring functions, or sandbox environments
  • Ability to support dev environments (devcontainers, CI configs, linters)
  • JS experience
  • Benefits

  • Get paid for your expertise, with  rates that can go up to $50 / hour  depending on your skills, experience, and project needs.
  • Take part in a flexible, remote, freelance project that fits around your primary professional or academic commitments.
  • Participate in an advanced AI project and gain valuable experience to enhance your portfolio.
  • Influence how future AI models understand and communicate in your field of expertise.
  • Jobalert für diese Suche erstellen

    Python Developer • Hamburg, HH, DE

    Ähnliche Stellen
    Python-Developer (w / m / d)

    Python-Developer (w / m / d)

    Vertec AG • Hamburg, Germany
    Du verfgst ber gute Kenntnisse in Python.Du hast Freude daran, Konzepte zu entwickeln und diese technisch umzusetzen einschlielich Termine vor Ort beim Kunden in der DACHRegion (Reisettigkeit ca.D...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Project Engineer Technische Dokumentation - ASD S1000D (m / w / d)

    Project Engineer Technische Dokumentation - ASD S1000D (m / w / d)

    Middle point • Hamburg, DE
    Quick Apply
    Für unseren Kunden mit Sitz in Hamburg suchen wir eine / n erfahrene / n Project Engineer mit fundierter Expertise in der technischen Dokumentation nach ASD S1000D. Dich erwarten herausfordernde Projekt...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    IT Operations Engineer Cloud-Plattform (w / m / d)

    IT Operations Engineer Cloud-Plattform (w / m / d)

    E.ON Grid Solutions GmbH • Hamburg, DE
    IT-Betrieb im Metering-Umfeld : .Du verantwortest den Betrieb von IT-Lösungen rund um Energiezähler, Geräteeinbau / -wechsel, Lager & Logistik sowie Dienstleistungsaufträge – bei über 15 Mio.Cloud-Infr...Mehr anzeigen
    Zuletzt aktualisiert: vor 5 Tagen • Gesponsert
    Low-Code Consultant (m / w / d) Microsoft Power Platform

    Low-Code Consultant (m / w / d) Microsoft Power Platform

    HanseVision GmbH - Bechtle Group • Hamburg, Hamburg, DE
    Unser Ziel : Effiziente, sichere und skalierbare Anwendungen, die Unternehmen befähigen, flexibel und zukunftsfähig zu arbeiten. Dabei setzen wir auf Low-Code-Ansätze, um schnelle, agile und kostenef...Mehr anzeigen
    Zuletzt aktualisiert: vor 10 Tagen • Gesponsert
    Cloud Infrastructure Engineer

    Cloud Infrastructure Engineer

    digimondo GmbH • Hamburg, DE
    Als führender Anbieter von IoT Plattformen bieten wir dir mehr als nur einen Job.Seit unserer Gründung 2016 in Hamburg haben wir eine klare Vision : Mit dem Internet der Dinge die B2B-Welt effizient...Mehr anzeigen
    Zuletzt aktualisiert: vor 26 Tagen • Gesponsert
    (Senior) System Engineer MS Cloud (m / w / d)

    (Senior) System Engineer MS Cloud (m / w / d)

    netgo group GmbH • Hamburg, DE
    Werde auch du "part of netgo group" - einem der größten IT-Dienstleister Deutschlands.Mitarbeiter •innen an zahlreichen Standorten in ganz Deutschland erwarten dich als neues Teammitglied.Senior) Sy...Mehr anzeigen
    Zuletzt aktualisiert: vor 5 Tagen • Gesponsert
    OpenStack Cloud Engineer (m / w / d)

    OpenStack Cloud Engineer (m / w / d)

    Burda DigitalSystems GmbH • Hamburg, DE
    Außerdem verfügt BurdaSolutions über eine hohe Kompetenz in den Bereichen Business Intelligence, CRM, ERP und mobile Applikationen. Offenburg oder München, Vollzeit, unbefristet Was dich bei ...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Operations Engineer Copperleaf (w / m / d)

    Operations Engineer Copperleaf (w / m / d)

    E.ON Grid Solutions GmbH • Hamburg, DE
    Gestalte die Zukunft des Asset- und Portfoliomanagements mit uns!.In dieser Rolle sorgst Du dafür, dass unsere Lösungen.Gleichzeitig treibst Du die kontinuierliche Optimierung der zugrunde liegende...Mehr anzeigen
    Zuletzt aktualisiert: vor 5 Tagen • Gesponsert
    C# / WPF Developer (m / f / d) - Optimus Search

    C# / WPF Developer (m / f / d) - Optimus Search

    Optimus Search • Hamburg, DE
    Über uns About usWith over 25 years of industry experience and strong partnerships with leading global tech companies, our client specializes in developing cutting-edge enterprise applications for ...Mehr anzeigen
    Zuletzt aktualisiert: vor 8 Tagen • Gesponsert
    Lead Engineer (m / w / d) ERP – Integration & Code Quality

    Lead Engineer (m / w / d) ERP – Integration & Code Quality

    hagebau IT GmbH • Soltau, DE
    Die hagebau IT GmbH mit Sitz in Soltau ist der zentrale IT-Dienstleister der hagebau-Gruppe.Mit unseren Lösungen und Services stellen wir den reibungslosen IT-Betrieb für rund 350 Gesellschafter, 1...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    DevOps Engineer AWS (m / w / d)

    DevOps Engineer AWS (m / w / d)

    WEBFADER GmbH • Hamburg, Hamburg, DE
    Werde Teil unseres dynamischen Teams als.Wir suchen begeisterte Fachkräfte, die mit ihrer Erfahrung und Leidenschaft die nahtlose Integration von Entwicklung und Betrieb in unsere moderne AWS-Umgeb...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Senior Software Engineer - SAP HCM Payroll (m / w / d)

    Senior Software Engineer - SAP HCM Payroll (m / w / d)

    Burda DigitalSystems GmbH • Hamburg, DE
    Außerdem verfügt BurdaSolutions über eine hohe Kompetenz in den Bereichen Business Intelligence, CRM, ERP und mobile Applikationen. Offenburg oder München, Vollzeit, unbefristet Was dich bei...Mehr anzeigen
    Zuletzt aktualisiert: vor 4 Tagen • Gesponsert
    IT-Engineer Operations - Cloud & Infrastructure (m / w / d)

    IT-Engineer Operations - Cloud & Infrastructure (m / w / d)

    E.ON Grid Solutions GmbH • Hamburg, DE
    Eine Aufgabe, die herausfordert.Als integraler Bestandteil unseres Teams im Bereich Metering Solutions wirst du eine Schlüsselrolle in der Transformation und dem Betrieb unserer IT-Infrastruktur sp...Mehr anzeigen
    Zuletzt aktualisiert: vor 21 Stunden • Gesponsert • Neu!
    AI Engineering Lead (m / w / d)

    AI Engineering Lead (m / w / d)

    Qodia • Kaltenkirchen, Germany
    Wir suchen erfahrene Engineers mit starkem Background in Softwareentwicklung, KI &.Machine Learning, die Lust haben, als fhrendes Teammitglied eine technische Vision. Fundierte Kenntnisse in NLP, LL...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    C# / WPF Developer (m / f / d)

    C# / WPF Developer (m / f / d)

    Optimus Search • Hamburg, DE
    Über uns About usWith over 25 years of industry experience and strong partnerships with leading global tech companies, our client specializes in developing cutting-edge enterprise applications for ...Mehr anzeigen
    Zuletzt aktualisiert: vor 8 Tagen • Gesponsert
    AI Engineer - 120.000 € - Python, React (m / w / d) - Optimus Search

    AI Engineer - 120.000 € - Python, React (m / w / d) - Optimus Search

    Optimus Search • Hamburg, DE
    Über uns About usUnser Kunde ist ein innovatives, profitables KI-Startup mit Sitz in Bremen und Berlin, das sich auf die Entwicklung einer Plattform spezialisiert hat, die Unternehmen dabei unterst...Mehr anzeigen
    Zuletzt aktualisiert: vor 3 Tagen • Gesponsert
    Senior System Engineer - Platform Infrastructure (m / w / d) || netgo tax

    Senior System Engineer - Platform Infrastructure (m / w / d) || netgo tax

    netgo group GmbH • Hamburg, DE
    Werde auch du "part of netgo group" - einem der größten IT-Dienstleister Deutschlands.Mitarbeiter •innen an zahlreichen Standorten in ganz Deutschland erwarten dich als neues Teammitglied.Senior Sys...Mehr anzeigen
    Zuletzt aktualisiert: vor 5 Tagen • Gesponsert
    Project IT Engineer – Networks & Infrastructure (m / w / d)

    Project IT Engineer – Networks & Infrastructure (m / w / d)

    Home & Marine electronic systems GmbH • Hamburg, DE
    IT, die nicht im Büro endet – sondern dort läuft, wo individuelle IT-Lösungen für Superyachten entstehen.Als Systemintegrator realisieren wir IT-, Audio / Video-, Security- und SATCOM-Systeme für mar...Mehr anzeigen
    Zuletzt aktualisiert: vor 4 Stunden • Gesponsert • Neu!