Planares Motion Tracking ist ein Tracking-Verfahren, das ebene oder näherungsweise ebene Flächen in Bildsequenzen verfolgt und deren Perspektiv-Transformation (Homographie) berechnet.
Rubrik: Animation & VFX · Unterrubrik: VFX-Techniken · Niveau: Fortgeschritten
Synonyme / Auch bekannt als: Planar Tracker, 2.5D Tracking, Homography Tracking, mocha Tracking
Was ist Planares Motion Tracking?
Planares Motion Tracking analysiert nicht einzelne Punkte, sondern ganze Flächenregionen im Bild. Der Algorithmus berechnet für jedes Frame eine Homographie-Matrix – eine 3×3-Transformationsmatrix, die beschreibt, wie sich eine ebene Fläche im nächsten Frame unter Perspektivveränderung verschoben, rotiert, skaliert und geneigt hat. Das erlaubt die stabile Verfolgung von Flächen, selbst wenn punktbasierte Tracker (Feature-Punkte) durch Verdeckung, Unschärfe oder mangelnden Kontrast versagen.
Das Verfahren wurde maßgeblich durch die Software mocha (Imagineer Systems, heute Boris FX) popularisiert und ist heute in After Effects, Nuke und DaVinci Resolve integriert oder als Plug-in verfügbar.
Erklärung
Homographie und Planare Annahme
Eine Homographie H ist eine 3×3-Matrix im projektiven Raum ℙ²:
`` x' = H · x mit H = [h11 h12 h13] [h21 h22 h23] [h31 h32 h33] ``
Sie beschreibt die vollständige perspektivische Abbildung einer Ebene auf die Kameraebene. mocha schätzt H durch einen iterativen Least-Squares-Fit über alle Pixel im definierten Track-Bereich (dichte Merkmalssuche, nicht Sparse-Feature-Tracking wie bei Lucas-Kanade).
Arten von Planar-Transformationen
| Transformation | Freiheitsgrade | Typischer Anwendungsfall |
|---|---|---|
| Translation | 2 | Einfache Pan-Shots |
| Similarity | 4 | Zoom + Rotation ohne Perspektive |
| Affine | 6 | Leichte Kippbewegungen |
| Homographie | 8 | Volle Perspektivveränderung (Standard) |
mocha-spezifische Parameter
- X-Spline / B-Spline Shape: definiert den Track-Bereich; B-Splines für organische Formen, X-Splines für technische Objekte.
- Search Region: Suchbereich für Pixel-Korrelation (größer = stabiler bei Bewegungsunschärfe, langsamer).
- Minimum Percentage of Pixels Used: Anteil valider Pixel nach Verdeckungsmasken (Empfehlung: > 50 %).
- Surface: die eigentliche Track-Ausgabe-Fläche, unabhängig von der Track-Shape; definiert die Ziel-Ecken für Screen Replacement.
Beispiele
- Die Hard 4 / Stirb Langsam 4 (Len Wiseman, 2007) – Screen Replacements in Monitoren und Display-Wänden mittels planarem Tracking; einer der frühen prominenten mocha-Einsätze.
- Sherlock (BBC, 2010–2017) – Typografie-Einblendungen (SMS-Nachrichten auf Bildschirmoberflächen) mit planar getrackten Overlays in After Effects / mocha.
- Dunkirk (Christopher Nolan, 2017) – Planar Tracking für Wire-Removal an Flugzeugmodellen; Flächen-Masken ermöglichten stabile Cloning-Matten.
- Everything Everywhere All at Once (Daniels, 2022) – Lo-Fi VFX: planar getracktes Screen Replacement für Bildschirm-Elemente ohne teure 3D-Integration.
- Werbeproduktionen / Packaging Shots – Planar Tracking ist Standard bei der Ersetzung von Produktlogos auf Verpackungen in Motion Graphics.
Schritt-für-Schritt Workflow
- Layer anlegen: In mocha neues Layer über der zu trackenden Fläche zeichnen (z. B. Fernseher, Werbetafel, Tür).
- Track-Parameter wählen: Transformation auf Perspective (= Homographie) setzen; Search Region an erwartete Maximalbewegung anpassen.
- Track ausführen: Vorwärts tracken (Track Forward); kritische Frames manuell korrigieren (Adjust Track).
- Surface definieren: Surface-Eckpunkte auf die gewünschten Zielpunkte der Fläche setzen (z. B. Bildschirmecken).
- Export nach After Effects: mocha-Track als AE-Corner-Pin-Daten exportieren oder direkt über mocha AE-Plug-in übergeben.
- Replacement-Layer einfügen: Replacement-Material (Grafik, Video) mit Corner-Pin-Effekt auf den Tracking-Daten belegen.
- Spill & Beleuchtung: Farbkorrektur und Lichtsimulation, damit das Replacement zur Szenenbeleuchtung passt.
- Grading & Output: Finale Farbkorrektur, Export.
In der Praxis
mocha Pro (Boris FX): Das Referenzwerkzeug für planares Tracking. Eigenständige Anwendung sowie Plug-in für After Effects, Premiere Pro, Nuke, Vegas Pro. Zusatzfunktionen: Remove-Modul (Wire/Object Removal), Insert-Modul (direkt im Plug-in rendern), Stabilisierung.
After Effects (Adobe): Das integrierte mocha AE (abgespeckte Version) ist für einfache Corner-Pin-Jobs ausreichend. Warp Stabilizer VFX nutzt intern ähnliche planare Analyse.
Nuke (Foundry): Nuke's Tracker-Node bietet planares Tracking; für komplexe Shots wird mocha Pro via FBX oder Nuke-Kamera integriert.
DaVinci Resolve / Fusion: Fusions Tracker-Node mit Planar-Modus; für Broadcast-Produktion gut geeignet.
Vergleich & Abgrenzung
| Methode | Stärke | Schwäche | Einsatz |
|---|---|---|---|
| Planares Tracking | robust bei schlechtem Kontrast, stabil | nur für ebene Flächen | Screen Replace, Masken |
| Punkt-Tracking (Lucas-Kanade) | flexibel, einfach | braucht kontrastreiche Features | Stabilisierung, 2D-Effects |
| 3D Camera Tracking | vollständige 3D-Integration | braucht viele Messpunkte, langsam | 3D-Objekte einfügen |
| Optischer Fluss | pixelgenau | teuer, rauscht | Morphing, Speed-Ramps |
Häufige Fragen (FAQ)
Wann versagt planares Tracking? Wenn die Zielfläche stark gebogen (z. B. Zylinder, Kugel) oder die Verdeckung so massiv ist, dass weniger als 30–40 % der Fläche sichtbar bleiben. In diesen Fällen empfiehlt sich Rotoscoping oder ein manuell korrigierter Punkt-Tracker.
Kann ich planares Tracking für Wire Removal nutzen? Ja – mocha Pro's Remove-Modul verwendet planare Track-Daten als Grundlage, um Pixel aus einem Clean-Plate-Frame zu transferieren. Der Track definiert die Perspektivtransformation, mit der Clean-Pixel ins aktuelle Frame projiziert werden.
Verwandte Einträge
- 3D Camera Tracking / Match Moving
- Rotoscoping – manuelles Freistellen
- Compositing – Ebenen und Blend-Modi
Weiterführend
- Wright, S. (2011). Digital Compositing for Film and Video (3. Aufl.). Focal Press. Kapitel 7: Motion Tracking.
- Boris FX. (2023). mocha Pro User Guide. Boris FX Documentation.
- Szeliski, R. (2010). Computer Vision: Algorithms and Applications. Springer. Kapitel 6: Feature-Based Alignment.
- SIGGRAPH 2009: Benhimane, S. & Malis, E. Homography-Based 2D Visual Tracking and Servoing. IROS Proceedings.
