Die Übertragung menschlicher Bewegungen auf humanoide Roboter ist eine zentrale Herausforderung in der Mensch-Roboter-Interaktion. Markerlose, kamerabasierte Ansätze bieten Potenzial für intuitive, flexible Steuerung, erfordern jedoch Echtzeitfähigkeit, Robustheit und systematische Architektur. Ziel der Arbeit ist die Entwicklung einer modularen Systemarchitektur zur Bewegungsübertragung. Es wurde eine ROS2-basierte Architektur entworfen, die markerlose Pose-Estimation, Datenverarbeitung und deren Abbildung auf die Robotik umfasst. MediaPipe wurde als Pose-Verfahren genutzt. Die Verarbeitung umfasst Skalierung, Normalisierung, Filterung sowie kinematisches Mapping und Retargeting. Die Plattformunabhängigkeit trennt Wahrnehmung, Verarbeitung und Steuerung. Die Validierung erfolgte in einer MuJoCo-Simulation, da Bewegungen auf der Hardware des Unitree G1 im Projektzeitrahmen nicht möglich waren. In der Simulation konnte ein Proof of Concept gezeigt werden, der die Eignung für stabile Bewegungsübertragung bestätigt. Teile der Architektur wurden erfolgreich am realen Robotersystem getestet. Ergebnisse belegen, dass eine modulare, ROS2-basierte Architektur eine geeignete Grundlage für posebasierte Mensch-Roboter-Interaktion ist. Limitationen markerloser Pose-Estimation und Herausforderungen bei der Übertragung auf Hardware werden diskutiert. Die Arbeit trägt zur Entwicklung flexibler Steuerungsarchitekturen bei und zeigt Ansatzpunkte für zukünftige Forschung.
The transfer of human movements to humanoid robots is a key challenge in human-robot interaction. Markerless, camera-based approaches offer potential for intuitive, flexible con-trol, but require real-time capability, robustness, and systematic architecture. The aim of this work is to develop a modular system architecture for motion transfer. A ROS2-based architec-ture was designed that includes markerless pose estimation, data processing, and its mapping to robotics. MediaPipe was used as the pose estimation method. Processing includes scaling, normalization, filtering, kinematic mapping, and retargeting. Platform independence sepa-rates perception, processing, and control. Validation was performed in a MuJoCo simulation, as movements on the Unitree G1 hardware were not possible within the project timeframe. The simulation demonstrated a proof of concept that confirms the suitability for stable motion transfer. Parts of the architecture were successfully tested on the real robot system. Results show that a modular, ROS2-based architecture is a suitable basis for pose-based human-robot interaction. Limitations of markerless pose estimation and challenges in transferring it to hard-ware are discussed. The work contributes to the development of flexible control architectures and shows starting points for future research.
Spiegelung menschlicher Bewegung zur Steuerung eines humanoiden Roboters
Beschreibung
Die Übertragung menschlicher Bewegungen auf humanoide Roboter ist eine zentrale Herausforderung in der Mensch-Roboter-Interaktion. Markerlose, kamerabasierte Ansätze bieten Potenzial für intuitive, flexible Steuerung, erfordern jedoch Echtzeitfähigkeit, Robustheit und systematische Architektur. Ziel der Arbeit ist die Entwicklung einer modularen Systemarchitektur zur Bewegungsübertragung. Es wurde eine ROS2-basierte Architektur entworfen, die markerlose Pose-Estimation, Datenverarbeitung und deren Abbildung auf die Robotik umfasst. MediaPipe wurde als Pose-Verfahren genutzt. Die Verarbeitung umfasst Skalierung, Normalisierung, Filterung sowie kinematisches Mapping und Retargeting. Die Plattformunabhängigkeit trennt Wahrnehmung, Verarbeitung und Steuerung. Die Validierung erfolgte in einer MuJoCo-Simulation, da Bewegungen auf der Hardware des Unitree G1 im Projektzeitrahmen nicht möglich waren. In der Simulation konnte ein Proof of Concept gezeigt werden, der die Eignung für stabile Bewegungsübertragung bestätigt. Teile der Architektur wurden erfolgreich am realen Robotersystem getestet. Ergebnisse belegen, dass eine modulare, ROS2-basierte Architektur eine geeignete Grundlage für posebasierte Mensch-Roboter-Interaktion ist. Limitationen markerloser Pose-Estimation und Herausforderungen bei der Übertragung auf Hardware werden diskutiert. Die Arbeit trägt zur Entwicklung flexibler Steuerungsarchitekturen bei und zeigt Ansatzpunkte für zukünftige Forschung.
The transfer of human movements to humanoid robots is a key challenge in human-robot interaction. Markerless, camera-based approaches offer potential for intuitive, flexible con-trol, but require real-time capability, robustness, and systematic architecture. The aim of this work is to develop a modular system architecture for motion transfer. A ROS2-based architec-ture was designed that includes markerless pose estimation, data processing, and its mapping to robotics. MediaPipe was used as the pose estimation method. Processing includes scaling, normalization, filtering, kinematic mapping, and retargeting. Platform independence sepa-rates perception, processing, and control. Validation was performed in a MuJoCo simulation, as movements on the Unitree G1 hardware were not possible within the project timeframe. The simulation demonstrated a proof of concept that confirms the suitability for stable motion transfer. Parts of the architecture were successfully tested on the real robot system. Results show that a modular, ROS2-based architecture is a suitable basis for pose-based human-robot interaction. Limitations of markerless pose estimation and challenges in transferring it to hard-ware are discussed. The work contributes to the development of flexible control architectures and shows starting points for future research.