Student*in für Masterarbeit: Learning Dexterous Robot Manipulation from Human Demonstrations

Tätigkeitsbereich:Forschung & Entwicklung incl. DesignFachabteilung:Future UX-Concepts & UX-SW TechnologiesGesellschaft:Mercedes-Benz AGStandort:Mercedes-Benz Werk Sindelfingen, Sindelfingen Startdatum:..6Veröffentlichungsdatum:..6Stellennummer:MERD1Arbeitszeit:Vollzeit BewerbenAufgaben

Die Mercedes-Benz Group AG ist eines der erfolgreichsten Automobilunternehmen der Welt. Mit der Mercedes-Benz AG gehört der Fahrzeughersteller zu den größten Anbietern von Premium- und Luxus-Pkw und Vans.

Dextere Roboterhände ermöglichen die Ausführung komplexer Manipulationsaufgaben und gelten als wichtiges Anwendungsfeld moderner Robot-Learning-Verfahren. Aktuelle Learning-from-Demonstration- und Vision-Language-Action-Ansätze versprechen eine effiziente Übertragung menschlicher Fähigkeiten auf Robotersysteme. Offen ist jedoch, welche Faktoren die Lernleistung und Generalisierungsfähigkeit dieser Verfahren maßgeblich beeinflussen.

Mögliche Forschungsfragen sind:

• Welchen Einfluss hat die Qualität des Hand-Retargetings auf die Leistungsfähigkeit gelernter Manipulationsstrategien?
• Wie wirken sich Größe und Diversität des Demonstrationsdatensatzes auf Erfolgsrate und Generalisierungsfähigkeit aus?
• Welchen Einfluss haben unterschiedliche Kamerakonfigurationen und Sensorsysteme auf die Lernleistung?
• In welchem Umfang profitieren Vision-Language-Action-Modelle von aufgabenspezifischem Fine-Tuning im Vergleich zu klassischen Imitation-Learning-Verfahren?
• Welche Faktoren limitieren die Übertragbarkeit teleoperierter Demonstrationen auf unbekannte Objekte und Manipulationsszenarien?

Die Ergebnisse sollen zu einem besseren Verständnis beitragen, wie sich dextere Manipulationsfähigkeiten mithilfe von Learning-from-Demonstration-Ansätzen und Vision-Language-Action-Modellen effizient von Menschen auf Robotersysteme übertragen lassen. Darüber hinaus sollen konkrete Empfehlungen hinsichtlich Datenerfassung, Demonstrationsqualität, Sensorik und Modelltraining für zukünftige robotische Lernsysteme abgeleitet werden.

Diese Herausforderungen kommen auf Dich zu:

• Literaturrecherche zu dexterer Teleoperation, Hand-Retargeting, Imitation Learning sowie modernen Vision-Language-Action-Modellen (z. B. ACT, Diffusion Policy, OpenVLA oder π0)
• Aufbau bzw. Erweiterung einer Teleoperationsplattform zur Steuerung einer fünffingrigen Roboterhand
• Entwicklung einer Hand-Retargeting-Pipeline zur Übertragung menschlicher Handbewegungen auf die Kinematik einer dexteren Roboterhand unter Erhalt der Manipulationsabsicht
• Definition repräsentativer Manipulationsaufgaben sowie Aufbau einer synchronisierten Datenerfassungs-Pipeline zur Integration von Mehrkamera-Bilddaten, propriozeptiven Signalen und Roboteraktionen
• Erhebung, Aufbereitung und Analyse eines Demonstrationsdatensatzes für Learning-from-Demonstration-Ansätze
• Training und Benchmarking von Imitation-Learning-Baselines sowie Fine-Tuning moderner Vision-Language-Action-Modelle auf den erhobenen Daten
• Planung und Durchführung kontrollierter Experimente zur Untersuchung des Einflusses von Demonstrationsqualität, Datenmenge, Datensatzdiversität und Sensorik auf die Modellleistung
• Wissenschaftliche Evaluation der resultierenden Strategien auf einer realen Roboterplattform hinsichtlich Erfolgsrate, Robustheit und Generalisierung auf unbekannte Objekte, Objektlagen und Manipulationssituationen
• Analyse der Ergebnisse sowie Ableitung wissenschaftlich fundierter Empfehlungen für effiziente Learning-from-Demonstration-Systeme

Die Tätigkeit kann ab Oktober 6 beginnen.

Qualifikationen

• Laufendes Masterstudium der Informatik, Robotik, Künstlichen Intelligenz, Elektrotechnik oder eines vergleichbaren Studiengangs

• Gute Python-Kenntnisse sowie erste Erfahrungen mit Machine Learning oder Robotik
• Interesse an Robot Learning, Computer Vision und Embodied AI
• Idealerweise praktische Erfahrungen mit Deep Learning Frameworks (z. B. PyTorch) und Linux
• Selbstständige, strukturierte und wissenschaftliche Arbeitsweise

• Sichere Deutsch- und Englischkenntnisse in Wort und Schrift

• Engagement und Teamfähigkeit

Zusätzliche Informationen:

Wir freuen uns auf Deine Online-Bewerbung mit Lebenslauf, Anschreiben, Zeugnissen, aktueller Immatrikulationsbescheinigung mit Angabe des Fachsemesters und Nachweis über die Regelstudienzeit. Bitte vergiss nicht im Online-Formular Deine Dokumente als "relevant für diese Bewerbung" zu markieren und die maximale Dateigröße von 5 MB zu beachten.

Weiterführende Informationen zu den Einstellkriterien findest Du .

Benefits Essens­zulagen Mit­arbeiter­handy möglich Mit­arbeiter­rabatte möglich Mit­arbeiter­beteili­gung möglich Mit­arbeiter Events Coaching Flexible Arbeits­zeit möglich Hybrides Arbeiten möglich Gesund­heits­maß­nahmen Betrieb­liche Alters­ver­sorgung Mobilitäts­angebote Park­platz Betriebs­arzt Gute An­bindung Barriere­frei­heit Kinder­betreuung Kantine, Café

We need your consent to load the Youtube service!

We use a third party service to embed video content that may collect data about your activity. Please review the details and accept the service to watch this video.

This content is not permitted to load due to trackers that are not disclosed to the visitor. The website owner needs to setup the site with their CMP to add this content to the list of technologies used.

Powered by