Talent.com
Mindrift
Freelance Agent Evaluation EngineerMindrift • Stuttgart, BW, DE
Freelance Agent Evaluation Engineer

Freelance Agent Evaluation Engineer

Mindrift • Stuttgart, BW, DE
Vor 30+ Tagen
Anstellungsart
  • Homeoffice
  • Quick Apply
Stellenbeschreibung

Please submit your CV in English and indicate your level of English proficiency.


Mindrift connects specialists with project-based AI opportunities for leading tech companies, focused on testing, evaluating, and improving AI systems. Participation is project-based, not permanent employment.


We're building a dataset to evaluate AI coding agents - how well a model handles real-world developer tasks.

You'll create challenging tasks and evaluation criteria within realistic simulated environments:

  • Build realistic developer environments - a virtual company with codebase, infrastructure, and context (tickets, docs, conversations) that forms a believable development history
  • Design tasks from intermediate states of these environments - craft the prompt, define what "solved" means, and ensure the task is solvable by an AI agent
  • Write tests that verify agent solutions - accept all valid approaches and reject incorrect ones, neither too strict nor too lenient
  • Iterate on tasks and tests based on QA feedback - review agent solutions, analyze failures, and refine until the evaluation is fair and robust

What this is NOT:

  • Not data labeling
  • Not prompt engineering
  • Not writing code from scratch - the agent writes most of the code; you guide and evaluate

What we look for:

  • 5+ years in software development
  • Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
  • Experience writing tests (functional, integration)
  • English proficiency - B2+

Why this is hard:
Frontier models are already good at coding. Creating a task that genuinely challenges the best models is non-trivial. You need to deeply understand where models fail and what scenarios reveal the difference between a good and a bad solution. Tasks have many valid solutions - writing tests that accept all correct solutions and reject incorrect ones is harder than it sounds.

Requirements and benefits

Educational qualifications

  • A Master’s Degree in Computer Science, Software Engineering, Data Science / Data Analytics, Artificial Intelligence / Machine Learning, Computational Linguistics / Natural Language Processing (NLP), Information Systems or other related fields.
  • Bachelor’s degree is accepted if only candidate has 5 years of experience in the field.

Academic and/or Professional Experience

Candidates should have a minimum of 3 years of professional experience in related roles or domain - specifically for QA-automation/testing or cybersecurity roles

How it works
Apply → Pass qualification(s) → Join a project → Complete tasks → Get paid

Compensation:
Paid per accepted task. Your rate depends on the qualification tier you reach and how efficiently you complete tasks — up to the equivalent of $50/hr. Because payment is per task, a faster pace raises your effective hourly rate.

Why this freelance opportunity might be a great fit for you?

  • Take part in a part-time, remote, freelance project that fits around your primary professional or academic commitments.
  • Work on advanced AI projects and gain valuable experience that enhances your portfolio. - Influence how future AI models understand and communicate in your field of expertise.
Jobalert für diese Suche erstellen

Freelance Agent Evaluation Engineer • Stuttgart, BW, DE

Ähnliche Stellen

Senior Unreal Engine Tools Engineer

realworld onebaden württemberg, Deutschland

Senior Unreal Engine Tools Engineer.Be among the first 25 applicants.Senior Unreal Engine Tools Engineer.Senior Unreal Engine Tools Engineer.Development Kit (RDK) – a powerful, modular toolkit desi... Mehr anzeigen

 • Gesponsert

Become a Freelance Luxury Brand Evaluator - Stuttgart, DE

CXGstuttgart, baden württemberg, Deutschland

Join the global community that enhances and elevates the experience of the most prestigious luxury brands in the world! CXG, a leading customer experience agency servicing premium and luxury brands... Mehr anzeigen

 • Gesponsert

Entwicklungsingenieur Trim & Finish (w/m/d)

Brunel GmbHHeilbronn, DE

Brunel ist ein führender Engineering‑ und IT‑Dienstleister für Unternehmen im Hochtechnologie‑Umfeld.Mit über 35 Standorten in der DACH-CZ-Region und einem Netzwerk von 2.Ingenieur:innen, Informati... Mehr anzeigen

 • Gesponsert

Senior Consultant (human) Planung mit IBM Planning Analytics (TM1)

All for One Group SEHeilbronn, de

Senior Consultant (human) Planung mit IBM Planning Analytics (TM1).Gemeinsam mit dem Projektteam und in enger Abstimmung mit unseren Kunden erarbeitest du fachliche und technische Konzepte auf Basi... Mehr anzeigen

 • Gesponsert

Software Engineer – AI / Agent Lab (m/w/d/x)

TempSearch GmbHstuttgart, baden württemberg, Deutschland

Für unseren Kunden suchen wir einenSoftware Engineer – AI / Agent Lab (m/w/d).In dieser Position entwickelst du innovative KI- und GenAI-Lösungen mit Fokus auf agentenbasierte Systeme.Du arbeitest ... Mehr anzeigen

 • Gesponsert

(Senior) Site Reliability Engineer / Distributed Cloud - STACKIT (m/w/d)

Schwarz DigitsHeilbronn, DE

Du hast ein abgeschlossenes Studium in Informatik oder einem verwandten Fachgebiet.Mindestens 2 Jahre aktive Erfahrung als SRE/DevOps Engineer, wo du gelernt hast, dass 'Works on my machine' keine ... Mehr anzeigen

 • Gesponsert

Fortinet Support Engineer (m/w/d)

telent GmbHBacknang (bei Stuttgart) oder Karlsruhe, DE

Zur Verstärkung unseres Teams suchen wir Sie als.Fortinet Support Engineer (m/w/d).Die telent GmbH, ein führendes Unternehmen für Systemintegration und digitale Transformation, bietet maßgeschneide... Mehr anzeigen

 • Gesponsert

Data Engineer / DevOps Engineer (all genders)

Quanto Solutions GmbHStuttgart, de

Sehr gutes Gehalt und ein attraktives Bonusmodell.Flexible Arbeitszeiten, Homeoffice-Option, 31 Tage Urlaub.Mobilitätsangebot (Bahn, Bike, Auto).Moderne IT-Ausstattung, Laptop/Handy auch zur privat... Mehr anzeigen

 • Gesponsert

Data Platform Engineer (m/w/d)

Deutsche Automobil Treuhand GmbHOstfildern, de

Sie entwickeln unsere Data Platform kontinuierlich weiter und schaffen damit die technische Grundlage für datengetriebene Anwendungen, Analytics- und BI-Lösungen.Sie gestalten und entwickeln die Ar... Mehr anzeigen

 • Gesponsert

AI Prompt Evaluator (Croatian) Limited Openings in Essen

Cross Border Talentsstuttgart, baden württemberg, Deutschland

AI Prompt Evaluator (Croatian) Limited Openings in Essen.Job Openings AI Prompt Evaluator (Croatian) Limited Openings in Essen.About the job AI Prompt Evaluator (Croatian) Limited Openings in Essen... Mehr anzeigen

 • Gesponsert

Masterand/in (w/m/d) - Entwicklung eines KI-Agenten für die Konzeptphase von Straßenfahrzeugen

Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)Stuttgart, de

Wir suchen deine Unterstützung im Team zur Gestaltung der Mobilität der Zukunft.Heutzutage spielen Sprachmodelle (Large Language Models (LLMs)) eine wichtige Rolle bei der Verarbeitung großer Menge... Mehr anzeigen

 • Gesponsert

Ingenieur als Zukunftsgestalter Wasserversorgung (m/w/d)

JobijobaBad Urach, Reutlingen (Kreis), Baden-Württemberg

Ob Wasserleitungen, Pumpwerke, Behälteranlagen oder Aufbereitungsanlagen – über Ihre Projekte haben Sie stets den Überblick.Entdecken Sie jetzt alle Vorteile für Sie bei uns! MITBARBEITERVORTEILE N... Mehr anzeigen

 • Gesponsert

Freelancer gesucht (m/w/d) – Automotive Taskforce / Lieferantenmanagement / Produktion

P3stuttgart, baden württemberg, Deutschland

Wir Suchen Erfahrene Freelancer Aus Folgenden Bereichen.Lieferantenmanager / Supplier Developer.Qualitätsmanager / Resident Engineers.Projektmanager Automotive / Taskforce Leader.Logistikexperten /... Mehr anzeigen

 • Gesponsert

Lead Developer (m/w/d) IT-Beratung - Stuttgart

PTA GmbHMurr, Baden-Württemberg, Germany

Mindestens 5 Jahre Erfahrung in der Softwareentwicklung, idealerweise bereits als Lead Developer in vergleichbaren Umfeldern.Erfahrung in der Entwicklung mit Java und/oder.NET-Technologien sowie Fr... Mehr anzeigen

 • Gesponsert

Senior Site Reliability Engineer (m/f/d)

Flip GmbHstuttgart, baden württemberg, Deutschland

As a Senior Site Reliability Engineer in our Platform Squad, you'll own critical reliability domains end-to-end and drive the technical direction within the squad – leading architectural decisions ... Mehr anzeigen

 • Gesponsert

Elektrokonstrukteur / Electrical Design Engineer (m/w/d) EPLAN P8

Handtmann Reutlingen GmbHReutlingen, Baden-Württemberg, DE

Elektrokonstrukteur / Electrical Design Engineer (m/w/d) EPLAN P8.Über 150 Jahre Berufserfahrung? Keine Sorge, die bringen wir schon mit! Als Familienunternehmen in fünfter Generation starteten wir... Mehr anzeigen

 • Gesponsert

Vermessungsingenieur*in

Landratsamt ReutlingenReutlingen, de

Der Landkreis Reutlingen liegt in unmittelbarer Nähe zur Landeshauptstadt Stuttgart und ist als wirtschaftlich wie landschaftlich vielfältige Gegend Teil des ersten Biosphärengebiets in Baden-Württ... Mehr anzeigen

 • Gesponsert

Technical Lead (m/w/d)

INNOSYSTEC GmbHheilbronn, Deutschland

Denn hier geht es um dich, deinen Job und deine Leidenschaft.Individuelle Entwicklung und maximale Flexibilität für dich und deine Arbeitsweise sind bei INNO keine Floskeln - und das inmitten eines... Mehr anzeigen