Student computer science, mathematics, optical engineering or similar (f/m/x)

Steigen Sie ein in die faszinierende Welt des Deutschen Zentrums für Luft- und Raumfahrt (DLR), um mit Forschung und Innovation die Zukunft mitzugestalten! Mit dem Know-how und der Neugier unserer 11.000 Mitarbeitenden aus 100 Nationen sowie unserer einzigartigen Infrastruktur, bieten wir ein spannendes und inspirierendes Arbeitsumfeld. Gemeinsam entwickeln wir nachhaltige Technologien und tragen so zur Lösung globaler Herausforderungen bei. Möchten Sie diese große Zukunftsaufgabe mit uns zusammen angehen? Dann ist Ihr Platz bei uns!

For our Institute for the Protection of Terrestrial Infrastructures in Sankt Augustin we are looking for a Student computer science, mathematics, optical engineering or similar (f/m/x), Development of a near real-time pipeline to generate MetaHumans from camera footage

Das erwartet Sie:

Digital Twins can be a powerful tool to raise the situational awareness of emergency forces and operatives of critical infrastructures in crisis situations and therefore support during decision making. One approach to achieve this is the provision of an interactive virtual reality environment representing the current situation via a remote service. However, to achieve this, there is an urgent need for a realistic incorporation of humans into the virtual environment in real-time. With the concept of MetaHumans, the Unreal Engine provides a promising approach for a realistic visualization, while tools like OpenPose allow translation of camera footage into a virtual skeleton. Thus, combining these approaches may enable a realistic real-time visualization of humans within the VR environment using a pipeline that translates camera footage into a metahuman.

Objective & Method

The objective of this work is the development of a pipeline that extracts humans from camera footage and transfers them into Unreal Engine MetaHumans in near real-time. This includes the AI-based extraction of the location and pose of a human from camera footage using libraries such as OpenPose, the generation of a corresponding MetaHuman in the Unreal Engine and the transfer of the extracted pose into its skeleton.

Work Content

• evaluating existing libraries for pose estimation with respect to skeleton reconstruction and spatial localization from camera footage
• developing a pipeline for the generation of MetaHumans in the Unreal Engine based on external data sources

Das erwarten wir von Ihnen:

• currently enrolled as a Master student in computer science, mathematics, optical engineering or similar major
• experience in working with Unreal or Unity (or something comparable),
• interest in deep learning, image processing, and object detection
• basic Python and C++ skills

Unser Angebot:

Das DLR steht für Vielfalt, Wertschätzung und Gleichstellung aller Menschen. Wir fördern eigenverantwortliches Arbeiten und die individuelle Weiterentwicklung unserer Mitarbeitenden im persönlichen und beruflichen Umfeld. Dafür stehen Ihnen unsere zahlreichen Fort- und Weiterbildungsmöglichkeiten zur Verfügung. Chancengerechtigkeit ist uns ein besonderes Anliegen, wir möchten daher insbesondere den Anteil von Frauen in der Wissenschaft und Führung erhöhen. Bewerbungen schwerbehinderter Menschen bevorzugen wir bei fachlicher Eignung.

Weitere Angaben:

• Eintrittsdatum: sofort
• Dauer: befristet auf 6 Monate
• Vergütung: Je nach Qualifikation und Aufgabenübertragung bis Entgeltgruppe 05 TVöD.
• Kennziffer: 95195