Talent.com
Mindrift
Senior Python Engineer - AI Coding Agent Evaluation (Freelance)Mindrift • Hamburg, HH, DE
Senior Python Engineer - AI Coding Agent Evaluation (Freelance)

Senior Python Engineer - AI Coding Agent Evaluation (Freelance)

Mindrift • Hamburg, HH, DE
Vor 21 Tagen
Anstellungsart
  • Homeoffice
  • Quick Apply
Stellenbeschreibung

Please submit your CV in English and indicate your level of English proficiency.


Mindrift connects specialists with project-based AI opportunities for leading tech companies, focused on testing, evaluating, and improving AI systems. Participation is project-based, not permanent employment.What this opportunity involves:
We're building a dataset to evaluate AI coding agents - how well a model handles real-world developer tasks.


You'll create challenging tasks and evaluation criteria within realistic simulated environments:

  • Build realistic developer environments - a virtual company with codebase, infrastructure, and context (tickets, docs, conversations) that forms a believable development history
  • Design tasks from intermediate states of these environments - craft the prompt, define what "solved" means, and ensure the task is solvable by an AI agent
  • Write tests that verify agent solutions - accept all valid approaches and reject incorrect ones, neither too strict nor too lenient
  • Iterate on tasks and tests based on QA feedback - review agent solutions, analyze failures, and refine until the evaluation is fair and robust

What this is NOT:

  • Not data labeling
  • Not prompt engineering
  • Not writing code from scratch - the agent writes most of the code; you guide and evaluate

What we look for:

  • 8+ years in software development
  • Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
  • Experience writing tests (functional, integration)
  • English proficiency - B2+

Why this is hard:
Frontier models are already good at coding. Creating a task that genuinely challenges the best models is non-trivial. You need to deeply understand where models fail and what scenarios reveal the difference between a good and a bad solution. Tasks have many valid solutions - writing tests that accept all correct solutions and reject incorrect ones is harder than it sounds.

How it works
Apply → Pass qualification(s) → Join a project → Complete tasks → Get paidEffort estimate


Tasks for this project are estimated to take 30 hours to complete, depending on complexity. This is an estimate and not a schedule requirement; you choose when and how to work. Tasks must be submitted by the deadline and meet the listed acceptance criteria to be accepted.

Compensation:
Up to $200/hr equivalent, depending on level and pace. Tasks are estimated at ~30 hours each; you set your own schedule.

Jobalert für diese Suche erstellen

Senior Python Engineer - AI Coding Agent Evaluation (Freelance) • Hamburg, HH, DE

Ähnliche Stellen

(Senior) Data/Analytics Engineer (m/w/d)

plusYOU GmbHHamburg, Hamburg, DE

Senior) Data/Analytics Engineer (m/w/d) in Hamburg.Since its founding, our partner company has grown into one of the leading firms when it comes to inspiring both the German B2B and B2C markets wit... Mehr anzeigen

Senior Full Stack Developer (Python, Azure & AI) (w/m/d)

EYhamburg, Deutschland

Are you ready to shape your future with confidence? Gemeinsam die Welt jeden Tag ein bisschen besser machen.Für diesen Anspruch setzen wir bei EY alles in Bewegung und gehen als Team „all in“.Schli... Mehr anzeigen

 • Gesponsert

Senior AI Engineer (all genders)

Eraneoshamburg, Deutschland

We are a technical, implementation-oriented spin‑off of a global management consultancy.Our clients are primarily DAX and Fortune Global 500 companies, which we advise on issues in the areas of ana... Mehr anzeigen

 • Gesponsert

Field Solutions Architect, Generative AI, Google Cloud

Googlehamburg, Deutschland

Bachelor’s degree in Engineering, Computer Science, a related field, or equivalent practical experience.Candidates will typically have 8 years of experience in technical project management, stakeho... Mehr anzeigen

 • Gesponsert

Senior Solutions Engineer - AI & Operations Research for Planning/Scheduling

akenohamburg, Deutschland

We are building the next generation of AI‑native production planning and scheduling software primarily for process industries and pharma manufacturing.Our product is deep, domain‑complex, and deplo... Mehr anzeigen

 • Gesponsert

Microsoft 365 Copilot & AI Engineer (m/f/d)

Sportfive Limitedhamburg, Deutschland

YOUR CAREER IN THE SPORTS INDUSTRY.The world of sports excites, connects, and inspires.At SPORTFIVE, we are a global agency that covers every aspect of sports marketing, helping to shape the indust... Mehr anzeigen

 • Gesponsert

Senior Data Engineer (f/m/d)

VOIDS Technology GmbHhamburg, Deutschland

We maximize product availability with minimal cashflow investment in 1/10 of the time.We solve a real problem for SMEs.Mid‑size Shopify brands lose revenue and cash to stockouts and inefficiencies ... Mehr anzeigen

 • Gesponsert

Data AI Engineer (m/w/d) || Azure Databricks / Lakehouse

Reply GroupBerlin,Hamburg,Köln,München,Hybrid, de

Data AI Engineer (m/w/d) || Azure Databricks / Lakehouse.Als Consultant für Data & AI (m/w/d) arbeitest du mit den neuesten Microsoft-Technologien und entwickelst datengetriebene Lösungen, die Data... Mehr anzeigen

 • Gesponsert

Senior AI Engineer – Data & ETL Pipelines (gn)

workidentityhamburg, Deutschland

Produktvision und internationaler Perspektive.Das Unternehmen entwickelt eine digital getriebene Plattform an der Schnittstelle von Software, datengetriebenen Prozessen und moderner Fertigung.Im Zu... Mehr anzeigen

 • Gesponsert

Senior AI Engineer (w/m/d)

Eraneos Germany GmbHHamburg, de

Zu unseren Kunden gehören primär DAX und Fortune Global 500 Unternehmen, die wir zu Fragen in den Bereichen Analytics, Big Data und Machine Learning beraten.Wir übernehmen in der Gruppe die Entwick... Mehr anzeigen

 • Gesponsert

Senior Cloud Engineer (m/w/d), Standort Hamburg

DZ HYPHamburg, de

Hamburg meine Perle - Top IT in bester Innenstadtlage.Wir sind rund 900 Mitarbeiterinnen und Mitarbeiter in einer führenden deutschen Immobilienbank.Jährlich bewegen wir deutschlandweit Projekte im... Mehr anzeigen

 • Gesponsert

Senior AI Platform Engineer (all genders)

adesso SEhamburg, Deutschland

Wir gehören zu den Top-Adressen in der IT-Welt und fokussieren uns auf die Optimierung der Kerngeschäftsprozesse unserer Kunden.Durch den smarten Einsatz maßgeschneiderter IT-Lösungen unterstützen ... Mehr anzeigen

 • Gesponsert

Senior Agentic AI Engineer – Public Cloud / SAP BTP (m/w/d)

Implico Grouphamburg, Deutschland

Warum diese Position für uns bei Implico wichtig ist:.Unsere Produktlandschaft entwickelt sich rasant in Richtung AI‑Native mit intelligenten Funktionen, automatisierten Workflows und agentischen S... Mehr anzeigen

 • Gesponsert

Senior Python Engineer (Contract)

Fliffworkfromhome, hamburg, Deutschland

Fliff unpacks sports gaming into social, free‑to‑play games for all types of sports fans.We've built a social sports gaming experience that allows users to compete for leaderboard positioning, to a... Mehr anzeigen

 • Gesponsert

Senior AI Engineer (m/w/d)

Libri GmbHhamburg, Deutschland

Libri ist zwischen Verlag und Buchhandel der innovative Großhändler und Dienstleister für Bücher und Medienprodukte.Buchhandlungen aller Größenordnungen, die wir über Nacht zuverlässig mit bestellt... Mehr anzeigen

 • Gesponsert

Senior AI Software Engineer (all genders)

PRODYNAhamburg, Deutschland

Bist du auf der Suche nach einem Ort, wo positive Einstellung und unglaublicher Teamgeist die Schlüsselwerte sind? Wir validieren und implementieren neue Technologien und entwickeln maßgeschneidert... Mehr anzeigen

 • Gesponsert

Cloud Platform Engineer (m/w/d) Schwerpunkt Generative AI

SIGNAL IDUNA Gruppehamburg, Deutschland

Cloud Platform Engineer (m/w/d) Schwerpunkt Generative AI.Cloud Platform Engineer (m/w/d) Schwerpunkt Generative AI.Wir verändern die Versicherungswelt - und suchen dich, um die Zukunft mitzugestal... Mehr anzeigen

 • Gesponsert

AI Engineering Lead (m/w/d)

QodiaBuchholz in der Nordheide, Germany

Wir suchen erfahrene Engineers mit starkem Background in Softwareentwicklung, KI &.Machine Learning, die Lust haben, als fhrendes Teammitglied eine technische Vision.Fundierte Kenntnisse in NLP, LL... Mehr anzeigen

 • Gesponsert

Lead AI Engineer / Senior AI Engineer

AI.IMPACT GmbHhamburg, Deutschland

We're looking for a Senior / Lead AI Engineer with deep generative AI expertise and solid software engineering foundations to help design and build intelligent, multi-agent capabilities for enterpr... Mehr anzeigen

 • Gesponsert

(Senior) AI Engineer (m/w/d) Entwicklung Hamburg dpa-IT Services GmbH

dpa Deutsche Presse-Agentur GmbHhamburg, Deutschland

Die dpa-IT Services GmbH ist ein Tochterunternehmen der Deutschen Presse-Agentur GmbH (dpa) und stellt der gesamten dpa Gruppe weltweit IT-Infrastruktur zur Verfügung.Wir entwickeln und betreiben S... Mehr anzeigen