Talent.com
Mindrift
AI Evaluation Engineer (Python, QA or Security)Mindrift • Berlin, BE, DE
Es werden keine Bewerbungen mehr angenommen
AI Evaluation Engineer (Python, QA or Security)

AI Evaluation Engineer (Python, QA or Security)

Mindrift • Berlin, BE, DE
Vor 30+ Tagen
Anstellungsart
  • Homeoffice
  • Quick Apply
Stellenbeschreibung

Please submit your CV in English and indicate your level of English proficiency.

Mindrift connects specialists with project-based AI opportunities for leading tech companies, focused on testing, evaluating, and improving AI systems. Participation is project-based, not permanent employment.

What this opportunity involves We're building a dataset to evaluate AI coding agents - how well a model handles real-world developer tasks.

You'll create challenging tasks and evaluation criteria within realistic simulated environments:

  • Build realistic developer environments - a virtual company with codebase, infrastructure, and context (tickets, docs, conversations) that forms a believable development history
  • Design tasks from intermediate states of these environments - craft the prompt, define what "solved" means, and ensure the task is solvable by an AI agent
  • Write tests that verify agent solutions - accept all valid approaches and reject incorrect ones, neither too strict nor too lenient
  • Iterate on tasks and tests based on QA feedback - review agent solutions, analyze failures, and refine until the evaluation is fair and robust

What this is NOT

  • Not data labeling
  • Not prompt engineering
  • Not writing code from scratch - the agent writes most of the code; you guide and evaluate

What we look for

  • 5+ years in software development
  • Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
  • Experience writing tests (functional, integration)
  • English proficiency - B2+

Why this is hard

Frontier models are already good at coding. Creating a task that genuinely challenges the best models is non-trivial. You need to deeply understand where models fail and what scenarios reveal the difference between a good and a bad solution. Tasks have many valid solutions - writing tests that accept all correct solutions and reject incorrect ones is harder than it sounds.

How it works

Apply → Pass qualification(s) → Join a project → Complete tasks → Get paid

Compensation

Up to $50/hr equivalent, depending on level and pace. Tasks are estimated at ~20 hours each; you set your own schedule.

Jobalert für diese Suche erstellen

AI Evaluation Engineer (Python, QA or Security) • Berlin, BE, DE

Ähnliche Stellen

Senior GenAI Engineer (all genders)

adesso SEAachen, Berlin, Bonn, Bremen, Dortmund, Dresden, DE

Exzellenz – und damit auch für vielfältige Entwicklungsmöglichkeiten für alle adessi.Wir wachsen gemeinsam und lernen voneinander: in anspruchsvollen Projekten, interdisziplinären Teams und mit zie... Mehr anzeigen

 • Gesponsert

Product Engineer (m/f/d)

WhyBrilliant GmbHGermany, Berlin, DE

WhyBrilliant is sourcing applicants for this role on behalf of an agile, Berlin-based AI startup transforming enterprise IT workflows.The company's identity may stay confidential until first contac... Mehr anzeigen

Werkstudent Customer Support & Data Analytics Industriegasturbine (all genders)

JobiqoLudwigsfelde, Brandenburg, DE

Jedes dritte Flugzeug fliegt mit unserer Technologie.Immer effizienter, leiser, nachhaltiger.Wir gestalten die Zukunft der Luftfahrt.Operative Bearbeitung von Kundenanfragen zu Triebwerksteilen, Sh... Mehr anzeigen

 • Gesponsert

Platform Engineer (m/f/d)

WhyBrilliant GmbHBerlin, Berlin, DE

WhyBrilliant is sourcing applicants for this role on behalf of a fast-growing Berlin-based manufacturing AI startup.The company's identity may stay confidential until first contact.Atlas, our AI Re... Mehr anzeigen

(Junior) Agentic AI Software Engineer (m/w/d)

Reply GroupBerlin,München, de

Junior) Agentic AI Software Engineer (m/w/d).Du unterstützt unsere Kunden bei der Konzeption und Entwicklung und Bereitstellung intelligenter, produktionsreifer Systeme, die große Sprachmodelle (LL... Mehr anzeigen

 • Gesponsert

Softwareentwickler C# und.Net für Desktop Service Tools (m/w/d)

HYDAC GroupGroßbeeren, de

Diese Herausforderungen warten auf Sie.MATCH) ist eine TÜV-zertifizierte Software-Suite zur Entwicklung und Wartung von Steuerungssoftware für mobile Arbeitsmaschinen.Für PC/Desktop umfasst sie unt... Mehr anzeigen

 • Gesponsert

AI Engineer (m/w/d)

Reply GroupBerlin,München,Hybrid, de

Entwerfen, entwickeln und betreiben von AI- und Generative AI-Lösungen auf Cloud (AWS/Azure) oder On-Prem.Aufbau und Integration von Datenplattformen und Pipelines (z.Entwickeln von skalierbaren, p... Mehr anzeigen

 • Gesponsert

AI Prompt Evaluator (Czech) | Essen, Germany

Cross Border TalentsBerlin, Germany
Quick Apply

Bachelors degree, valid work permit for Germany.As soon as possible limited vacancies, apply fast!.Competitive salary + signing bonus (3,000 split over 3rd & 6th months).Apply here or send your... Mehr anzeigen

Junior GenAI Engineer (m/w/d)

Reply GroupBerlin,München,Hybrid, de

Als Junior GenAI Engineer (m/w/d) unterstützt du bei der Entwicklung und Implementierung von Generative-AI-Modellen, (Multi-)Agent-basierten LLM-Anwendungen und KI-gestützten Lösungen für kundenspe... Mehr anzeigen

 • Gesponsert

Data Engineer - GenAI Platform Integration (m/w/d)

Reply GroupBerlin,München, de

Data Engineer - GenAI Platform Integration (m/w/d).Als Data Engineer entwickelst und betreibst du skalierbare Datenpipelines, die Unternehmensdaten sicher und effizient mit modernen GenAI-Anwendung... Mehr anzeigen

 • Gesponsert

Croatian AI Evaluator Career Opportunity in Essen

Cross Border TalentsBerlin, Germany
Quick Apply

Are you fluent in Croatian and ready to play a key role in shaping tomorrows AI technologies?.Croatian-speaking AI Prompt Evaluator.In this position, you will work in a structured, international en... Mehr anzeigen

Senior AI Platform Engineer (all genders)

adesso SEAachen, Berlin, Bonn, Bremen, Dortmund, Dresden, DE

Exzellenz – und damit auch für vielfältige Entwicklungsmöglichkeiten für alle adessi.Wir wachsen gemeinsam und lernen voneinander: in anspruchsvollen Projekten, interdisziplinären Teams und mit zie... Mehr anzeigen

 • Gesponsert

Senior AI Platform Engineer (m/w/d)

Leadvise Reply GmbHBerlin, BE, DE

Du willst nicht nur Features bauen, sondern eine skalierbare AI-Plattform technisch prägen? In dieser Rolle übernimmst du Verantwortung für Architektur, Stabilität und Zukunftsfähigkeit – und bring... Mehr anzeigen

Cyber Security Experte (w/m/d)

HYDAC GroupLudwigsfelde, Germany

Erfolgreich abgeschlossenes Hochschulstudium mit Schwerpunkt Mechatronik, Elektrotechnik oder Software-Engineering (Master/Diplom).Fundierte Erfahrung in der Maschinenentwicklung oder vergleichbare... Mehr anzeigen