KI-Charakteranimation & markerloses Motion Capture aus Video

Klassisches Motion Capture braucht Anzüge, Marker, ein kalibriertes Studio und Personal für die Nachbearbeitung. KI-gestütztes Motion Capture schätzt aus gewöhnlichem Video ein 3D-Skelett, die Hände und den Gesichtsausdruck und überträgt das Ergebnis auf einen gerigten Charakter. So kann ein kleines Team mit Smartphone oder Webcam animieren. Das Ergebnis sind produktionsreife Animationsdaten (FBX, BVH, USD) und nicht nur ein ansehnlicher Clip. Das unterscheidet diesen Anwendungsfall von der Videogenerierung (GEN-002) und der Erzeugung statischer 3D-Assets (GEN-008).

Problem & Nutzen

• Heute: Optisches Mocap (Vicon, OptiTrack) und Inertialanzüge kosten ab mehreren zehntausend Euro und setzen ein Studio voraus; Keyframe-Animation von Hand ist langsam. Indie-Studios, Agenturen, Bildungseinrichtungen und VTuber können sich oft keines von beiden leisten, sodass Charaktere von Hand oder gar nicht animiert werden.
• KI-Nutzen: Aufnahmen überall mit dem Smartphone, Iterationen in Stunden, eine Performance für viele Charaktere wiederverwendbar und der Austausch eines Darstellers in einer Realfilmaufnahme gegen einen CG-Charakter ohne Mocap-Bühne.
• Nutzen: Es liegen keine unabhängigen Zahlen zur Kosteneinsparung vor; messen Sie in einem Pilotprojekt die Animationsstunden pro fertiger Sekunde.

Varianten

• Spiele- und Indie-Animation: Gameplay-Animationen, Zwischensequenzen, Übertragung auf Unreal-MetaHuman- oder Unity-Humanoid-Rigs.
• Film-, TV- und Werbe-VFX: Charakterersatz in einer Aufnahme mit Kamera-Track, Clean Plate und Lichtanpassung (siehe GEN-021).
• VTubing, Social Media und Live-Avatare: Echtzeit-Gesichts- und Körpertracking, das einen VRM- oder Live2D-ähnlichen Avatar steuert (für kundennahe Avatare siehe CONV-018).
• VR/AR-Schulung und Simulation: Bewegungen von Fachleuten aufzeichnen, virtuelle Ausbilder animieren.
• Sport und Biomechanik: Dieser Anwendungsfall liefert nur Animationen; die Analyse von Haltung oder Ergonomie ist VIS-024.
• Private Nutzung: Hobby-Animation, Spiele-Modding, Avatar-Inhalte.

So funktioniert es

1. video (phone / multi-cam / film plate)
2. person detection + tracking (multi-person IDs)
3. 3D human mesh/pose recovery (SMPL-family body, hands, face), world-grounded with camera estimation
4. temporal smoothing + foot-contact / physics clean-up (anti-jitter, anti-foot-slide)
5. retargeting to the target rig (bone mapping, proportions, IK)
6. [optional] scene pipeline: camera track, clean plate, relighting, CG render, composite
7. human clean-up in DCC tool (Blender, Maya, MotionBuilder, Unreal, Unity)
8. export (FBX, BVH, USD, glTF) / render

• Posenrekonstruktion: Transformer-Modelle schätzen pro Bild die SMPL/SMPL-X-Körperparameter und rekonstruieren die globale Bewegungsbahn trotz bewegter Kamera; Hand- und Gesichtsmodelle ergänzen Finger- und Blendshape-Kurven.
• Generative Nachbearbeitung: Gelernte Bewegungsmodelle füllen Verdeckungen, verringern Jitter und Gleiten und können Clips verlängern oder überblenden; Text-zu-Bewegung-Modelle erzeugen Bewegung ganz ohne Video.
• Mensch-in-der-Schleife (Human-in-the-Loop): Ein Animator prüft den Clip, behebt Kontaktfehler und sorgt für den Feinschliff der Darstellung. Die Rohausgabe hat typischerweise Previz- oder mittlere Qualität, nicht die Qualität finaler Hauptfigur-Animation.

Datenaufbereitung

Die Eingangsdaten sind größtenteils neues Material: Videos von Darstellern, das Ziel-Rig des Charakters (FBX, GLB, VRM) und für Szenenarbeit Kamerametadaten. Rigs und Charaktermodelle liegen meist auf den Arbeitsplätzen der Designer oder auf Dateifreigaben; Aufnahmen liegen auf Smartphones, SD-Karten oder einem NAS. Typische Lücken sind uneinheitliche Rig-Standards und Knochenbezeichnungen, fehlende Einwilligungsnachweise der Darsteller, unkontrolliertes Rohmaterial auf privaten Geräten sowie alte Charaktermodelle ohne saubere Topologie oder Lizenzdokumentation. Beschriftungen oder Trainingsdatensätze müssen selten aufgebaut werden, daher ist der Aufwand gering.

Vorbereitungsschritte: - Legen Sie einen Rig-Standard fest (Mixamo-ähnliches Humanoid, Unreal Mannequin oder VRM) und konvertieren Sie Altcharaktere einmalig. - Definieren Sie eine Aufnahme-Checkliste: Stativ, ganzer Körper im Bild, schlichter Hintergrund, 30-60 fps, Objektivnotizen; das ist wichtiger als jede Modelleinstellung. - Führen Sie pro Darsteller ein Register für Einwilligung und Aufbewahrung und legen Sie ein Benennungsschema für Clips in einem gemeinsamen Ordner oder DAM fest. - Legen Sie Quellaufnahmen und fertige Clips in strukturiertem, zugriffsgeschütztem Speicher ab; zur Umstrukturierung und Verschlagwortung siehe PREP-009 und PREP-010, zu Ideen für die Asset-Verwaltung DATA-003.

Grober Aufwandsanteil: etwa 10-15 Prozent des Projekts, vor allem für die Vereinheitlichung der Rigs und disziplinierte Aufnahmen. Zu personenbezogenen Daten in Aufnahmen siehe PREP-022 und PREP-024.

Umsetzungswege

Welcher Weg für wen

• KMU: Weg A, weil ausgereifte, in der EU nutzbare Mocap-Produkte (Rokoko, Move.ai, Flow Studio) zu moderaten Abopreisen binnen Tagen brauchbare Clips liefern.
• Großunternehmen: Weg B, weil Studios mit vielen Aufnahmen eine automatisierte Pipeline mit eigener Übertragung (Retargeting) und GPUs in EU-Regionen brauchen, während der Prozess unkritisch bleibt.
• Entwickler: Weg C, weil offene Posenmodelle (GVHMR, WHAM) plus Blender volle Kontrolle und keine Gebühren pro Minute bieten, sofern die SMPL-Lizenz geklärt ist.
• Privat: Weg A, weil kostenlose oder günstige Smartphone-Werkzeuge (Rokoko Vision, Plask) den Bedarf bei Hobby, VTubing und Game Jams decken.

Weg A — Kaufen (Standardsoftware) (empfohlen)

• Video-zu-Animation und CG-Ersatz: Autodesk Flow Studio (früher Wonder Studio; Charakterersatz, Kamera-Track, Clean Plate, Export nach Maya, Blender, Unreal).
• Markerloses Mocap: Move.ai (Einzel- und Mehrkamera, Move One / Move Pro), Rokoko Vision (kostenlose Einzelkamera-Stufe) und Rokoko-Anzüge für hybride Aufnahmen (Rokoko ist dänisch, EU), DeepMotion Animate 3D, Plask, Radical, Kinetix (Frankreich, EU, Emotes für Spiele), Cascadeur (KI-gestützte physikbasierte Keyframe-Animation).
• Gesicht/Live: Auf Apple ARKit basierende Werkzeuge wie Live Link Face mit Unreal MetaHuman Animator; Webcam- VTubing-Werkzeuge (VSeeFace, VTube Studio).
• Wählen Sie A, wenn: Sie Ergebnisse in Tagen brauchen, das Volumen moderat ist und der Cloud-Upload der Aufnahmen akzeptabel ist.

Weg B — Auf Cloud-KI-Diensten aufbauen

• Die REST-APIs der Anbieter (Move.ai, DeepMotion) binden die Aufnahme in Spiele- oder Content-Pipelines ein; kombinieren Sie sie mit einem allgemeinen VLM zur Qualitätsprüfung der Clips (Gleiten der Füße, umgeklappte Gliedmaßen markieren) und mit Cloud-Videomodellen für stilisiertes Rendering (GEN-002).
• Betreiben Sie Posenmodelle auf GPU-Instanzen in EU-Regionen (AWS Frankfurt, Azure West Europe, EU-GPU-Clouds), damit die Aufnahmen in der EU bleiben.
• Wählen Sie B, wenn: Sie eine automatisierte Pipeline mit hohem Volumen und eigener Übertragung (Retargeting) wollen.

Weg C — Selbst betreiben (Open Source)

• Modelle: 4D-Humans/HMR2.0, WHAM, GVHMR (weltbezogen, schwerkraftbewusst), TRAM, SMPLer-X und HaMeR (Hände), SAM 2 für Masken, MediaPipe Pose/Holistic (leichtgewichtig, Echtzeit), RTMPose/MMPose für 2D-Keypoints. Hinweis: Die Körpermodelle SMPL/SMPL-X stehen unter einer Forschungslizenz für nicht-kommerzielle Nutzung; für kommerzielle Nutzung ist eine Lizenz des Rechteinhabers (Meshcapade, Deutschland, EU) oder ein nicht auf SMPL basierendes Modell nötig.
• DCC und Engines: Blender (mit Retargeting-Add-ons), Godot, Unreal, Unity; Export über glTF/FBX.
• Hardware: HW2 bewältigt Offline-Clips und Körpertracking in Echtzeit bei 30 fps; HW3 für mehrere Personen und 4K-Aufnahmen.
• Aufwand: Forschungscode erfordert Integrationsarbeit; planen Sie Entwicklerzeit für Werkzeuge zur Übertragung und Nachbearbeitung ein.

Weg D — Eigenes Training

Lohnt sich für nicht-menschliche Charaktere (Tiere, Kreaturen), ungewöhnliche Rigs oder einen Studio-Stil. Dafür braucht es Bewegungs- bibliotheken (Hunderte Clips aus lizenzierten Mocap-Datensätzen wie AMASS plus eigene Aufnahmen) und ML- Ingenieure. Das Feintuning der Übertragung oder von Bewegungsmodellen ist realistischer als ein Training der Posenrekonstruktion von Grund auf.

Stand der Technik (2026)

• Weltbezogene monokulare Rekonstruktion (WHAM, GVHMR, TRAM) liefert plausible globale Bewegungsbahnen aus Aufnahmen mit bewegter Kamera; Benchmarks sind unter anderem 3DPW, EMDB, RICH und Human3.6M.
• Video-zu-Szene-Produkte bündeln inzwischen Kamera-Solve, Clean Plate und Charakterersatz.
• Text-/Musik-zu-Bewegung-Diffusionsmodelle ergänzen die Aufnahme, indem sie Bewegung erzeugen oder bearbeiten.
• Grenzen und Fehlerbilder: Verdeckung, lockere Kleidung, schnelle Drehungen und Menschenmengen führen zu umgeklappten Gliedmaßen und Jitter; Gleiten der Füße und Fehler beim Bodenkontakt; schwache Finger- und Gesichtsfeinheiten im Vergleich zu optischem Mocap; Tiefenmehrdeutigkeit bei Einzelkamera-Aufbauten; Maßstabsdrift; Charaktere mit stark abweichenden Proportionen lassen sich schlecht übertragen. Mehrkamera-Aufnahmen und ein Feinschliff bleiben der Qualitätsweg für Hauptfigur-Animationen.

Gemeinsame Bausteine & Kombinationen

• Gleicher Technologie-Stack: Posenschätzung und Segmentierung gemeinsam mit VIS-024; 3D-Werkzeuge gemeinsam mit GEN-008 und GEN-025 (Kamera-/Szenenrekonstruktion); ein HW2/HW3-GPU-Rechner kann alle bedienen.
• Kombinationen: GEN-008 (Charakter erzeugen, dann animieren), GEN-013 (Spielinhalte), GEN-021 (Previs/VFX), GEN-003 und CONV-018 (Avatare), GEN-012 (Aufnahmen bearbeiten).

Aufwand, Kosten & Kennzahlen

• Weg A: Stunden bis Tage; Abo- oder Minutenpreise, prüfen Sie die aktuellen Tarife der Anbieter.
• Weg B: 1-3 Monate für eine integrierte Pipeline; Kostentreiber sind GPU-Minuten und Speicher.
• Weg C: 2-4 Monate mit einem Entwickler; Hardware plus Wartung.
• Kennzahlen: Animationsstunden pro fertiger Sekunde, Anteil der Clips, die ohne Nacharbeit nutzbar sind, Rate von Fußgleiten/Jitter (QA-Kennzahl), Durchlaufzeit, Kosten pro Clip.

Menschen & Veränderung

Wer und wann. Beziehen Sie die Fachbereichsleitung (Animation oder Marketing) und die Anwender (Animatoren, Videoeditoren) ab dem ersten Test ein, denn sie beurteilen die Clip-Qualität und verantworten die Nachbearbeitung. Holen Sie Recht/Compliance und die Datenschutzbeauftragte bzw. den Datenschutzbeauftragten hinzu, bevor Sie andere Personen als sich selbst aufnehmen: Verträge mit Darstellern müssen die Nutzung digitaler Replikate abdecken, und Aufnahmen von Personen sind personenbezogene Daten (Art. 6 und möglicherweise Art. 9 DSGVO, wenn Gesichtsdaten eine Person identifizieren). Die IT richtet Speicher, Konten und GPU-Zugang ein; die Geschäftsleitung entscheidet über Budget und Richtlinie (GUIDE-007).

Betriebsrat. Kommt darauf an. Ein Werkzeug, das nur Aufnahmen von Darstellern für Animation verarbeitet, eignet sich in der Regel nicht zur Überwachung des Beschäftigtenverhaltens. Werden Beschäftigte regelmäßig aufgenommen oder könnten Bewegungsdaten ausgewertet werden, gilt § 87 Abs. 1 Nr. 6 BetrVG (die objektive Eignung genügt, laut BAG), und § 90 Abs. 1 Nr. 3 verlangt die rechtzeitige Unterrichtung über KI-gestützte Arbeitsprozesse. Die Nutzung von Bewegungsdaten zur Überwachung oder Emotionserkennung ist nicht zulässig; schließen Sie sie schriftlich aus. Öffentlicher Dienst: Personalrat.

Datenschutzbeauftragte(r) und DSFA. Schließen Sie mit jedem Cloud-Anbieter einen AVV (Art. 28 DSGVO) ab; eine DSFA ist wahrscheinlich nur bei regelmäßiger Aufnahme von Beschäftigten oder bei Gesichtsdaten in großem Umfang erforderlich.

KI-Kompetenz, Kommunikation, Pilot. Fördern Sie die KI-Kompetenz (Art. 4 KI-Verordnung) mit einem kurzen praktischen Workshop zu den Grenzen (Fußgleiten, Jitter); siehe GUIDE-006. Starten Sie einen Pilot mit 2-3 Animatoren an fünf Clips (GUIDE-009). Typische Sorge: „KI ersetzt Animatoren.“ Begegnen Sie ihr, indem Sie das Ergebnis als Previz und erste Fassung positionieren, wobei der Animator die abschließende Qualitätskontrolle und die Namensnennung behält (GUIDE-008).

Risiken, Regulierung & Compliance

• KI-Verordnung (AI Act): Das Werkzeug selbst hat ein minimales Risiko, aber synthetische oder manipulierte Inhalte über reale Personen (Ersatz im Stil von Deepfakes) lösen die Transparenzkennzeichnung nach Art. 50 aus (begrenztes Risiko). Art. 5 verbietet Emotionserkennung am Arbeitsplatz und in Schulen; nutzen Sie Gesichtsaufnahmedaten nicht, um Emotionen von Beschäftigten oder Lernenden abzuleiten. Die Nutzung von Bewegungsdaten zur Mitarbeiterüberwachung wäre ein anderer Anwendungsfall mit eigener Einstufung (siehe VIS-024).
• DSGVO: Videos von Darstellern und Beschäftigten sind personenbezogene Daten; Bewegungs- und Gesichtsdaten können biometrischer Natur sein, sodass die Regeln für besondere Kategorien (Art. 9) gelten können, wenn sie zur Identifizierung einer Person dienen. Holen Sie eine ausdrückliche Einwilligung ein, legen Sie die Aufbewahrung fest und bevorzugen Sie EU-Hosting und einen AVV mit dem Anbieter.
• Rechte: Verträge mit Darstellern müssen die Nutzung digitaler Replikate abdecken (z. B. SAG-AFTRA und nationale Regeln der Berufsverbände); prüfen Sie die Lizenzen für Trainingsdaten und Ausgaben der Werkzeuge; zur SMPL-Lizenz siehe oben.
• Gegenmaßnahmen: Einwilligungserklärungen für Darsteller, synthetische Ausgaben mit Wasserzeichen bzw. Kennzeichnung versehen, Löschfristen für Rohaufnahmen festlegen, menschliche Prüfung vor der Veröffentlichung.

Erste Schritte

1. Nehmen Sie 5 repräsentative Darbietungen (langsam, schnell, verdeckt) mit einem Smartphone auf einem Stativ auf.
2. Testen Sie Rokoko Vision oder Move One und Flow Studio an denselben Clips; bewerten Sie Jitter, Fußgleiten und Übertragung.
3. Richten Sie einen Rig-Standard (Mixamo-ähnliches Humanoid, Unreal Mannequin oder VRM) und einen Blender-Workflow zur Nachbearbeitung ein.
4. Entwerfen Sie Einwilligung der Darsteller und Bedingungen zur Replikat-Nutzung, bevor Sie andere aufnehmen.
5. Wenn das Volumen es rechtfertigt, testen Sie GVHMR auf einer HW2-GPU und vergleichen Sie die Kosten pro Clip.

Quellen

1. Autodesk Flow Studio — https://www.autodesk.com/products/flow-studio/overview
2. Move.ai — https://www.move.ai/
3. Rokoko Vision — https://www.rokoko.com/products/vision
4. GVHMR (SIGGRAPH Asia 2024) — https://github.com/zju3dv/GVHMR
5. WHAM: Reconstructing World-grounded Humans with Accurate 3D Motion — https://github.com/yohanshin/WHAM
6. 4D-Humans (HMR2.0) — https://github.com/shubham-goel/4D-Humans
7. MediaPipe Pose Landmarker — https://ai.google.dev/edge/mediapipe/solutions/vision/pose_landmarker
8. SMPL body model and licence — https://smpl.is.tue.mpg.de/
9. Regulation (EU) 2024/1689 (AI Act), Art. 5 and 50 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj