2D-Tracking ist das computergestützte Verfolgen von Pixel-Mustern in einem Video, um Bewegungsdaten zu extrahieren und für Compositing oder Stabilisierung zu nutzen.
Rubrik: Animation & VFX · Unterrubrik: Compositing · Niveau: Einsteiger Synonyme / Auch bekannt als: Motion Tracking, 2D Motion Tracking, Feature Tracking, Planar Tracking
Was ist 2D-Tracking?
2D-Tracking ist ein algorithmisches Verfahren, das in jedem Frame eines Videos ein definiertes Bild-Muster (Feature) identifiziert und dessen Position verfolgt. Das Ergebnis sind Bewegungskurven (Tracking-Daten), die beschreiben, wie sich ein Punkt oder eine Fläche durch das Bild bewegt. Diese Daten werden für zwei Hauptzwecke genutzt:
- Attachment: Compositing-Elemente (Texte, Logos, Effekte, CGI-Objekte) werden an einem Tracking-Punkt befestigt und bewegen sich dadurch naturgetreu mit der Szene.
- Stabilisierung (Steady Shot): Unerwünschte Kamerabewegungen werden durch invertierte Tracking-Daten kompensiert.
2D-Tracking ist eine der meistgenutzten Techniken im Compositing – Grundlagen-Workflow und für fast jeden Compositing-Shot relevant.
Erklärung
Punkt-Tracker (Feature-Tracking)
Der einfachste Tracker verfolgt einen einzelnen Punkt im Bild. Der Artist wählt ein markantes Pixel-Muster (High-Contrast-Feature) — z. B. ein Musterdetail auf einer Wand, eine Ecke, ein Zierknopf — und der Algorithmus verfolgt dieses Muster von Frame zu Frame. Das Ergebnis sind X/Y-Koordinaten über die Zeit.
Methoden:
- Normalized Cross-Correlation (NCC): Vergleicht Pixel-Patches via Korrelation. Robust, aber langsam bei großen Suchfenstern.
- Lucas-Kanade Optical Flow: Differentialgleichungsbasierter Ansatz; schnell und präzise bei kleinen Bewegungen.
- KLT Tracker (Kanade-Lucas-Tomasi): Weiterentwicklung von Lucas-Kanade; erkennt Features automatisch und verfolgt mehrere gleichzeitig.
Anwendung: Für einfache Shots mit einem oder wenigen Tracking-Punkten, z. B. zum Befestigen einer Schrift-Einblendung an einem Objekt.
Planar Tracker
Der Planar Tracker verfolgt nicht einzelne Punkte, sondern Ebenen (Planes) im Bild. Er analysiert ein zusammenhängendes Flächenmuster (z. B. ein Gebäude, ein Schild, den Boden) und rekonstruiert daraus eine vollständige 2D-Transformationsmatrix: Translation, Rotation, Skalierung und Perspektiven-Änderung (Homographie).
Das führende Tool für Planar-Tracking ist Mocha (Boris FX). Mocha trennt Ebenen im Bild voneinander, verfolgt sie separat und kann auch Tracking-Daten für Ebenen berechnen, die teilweise verdeckt sind.
Anwendungen:
- Billboards, Schilder oder Bildschirme mit neuem Inhalt ersetzen (Screen Replacement)
- Tattoos oder Make-up digital hinzufügen
- Roto-Shapes mit Planarbewegung automatisch mitbewegen lassen (vgl. Rotoscoping)
- Stabilisierung von Kamerabewegungen
Steady Shot / Stabilisierung
Beim Steady Shot werden die Tracking-Daten invertiert, um Kamerabewegungen aus dem Bild herauszurechnen. Das Resultat ist ein stabilisiertes Bild, das so aussieht, als ob die Kamera festgestanden hätte. Da durch die Transformation Bildbereiche abgeschnitten werden, muss entweder ein Crop oder ein Bildrandergänzungsverfahren angewendet werden.
In Nuke ist der Stabilize-Node für diesen Prozess zuständig. Adobe Premiere und After Effects bieten den Warp Stabilizer als automatisierte Variante.
Tracking-Qualität
Die Tracking-Qualität hängt stark von den Eigenschaften des Footage ab:
- Kontrast: Markante, kontraststarke Features sind ideal. Gleichförmige Flächen (blaue Himmel, weiße Wände) können nicht verfolgt werden.
- Schärfe: Unscharfe Features springen zwischen Frames und erzeugen instabile Tracks.
- Verdeckung: Wenn ein Feature vorübergehend verdeckt wird, muss der Track manuell korrigiert oder ein alternatives Feature genutzt werden.
- Lichtveränderungen: Starke Beleuchtungsänderungen (z. B. Blitz, Sonnenlicht) können Features verlieren.
- Kompression: Starke Videokompression erzeugt Blockartefakte, die als falsche Features interpretiert werden können.
Beispiele
- Screen Replacement: Auf einem Laptop-Screen im Filmbild wird ein anderes Bild eingesetzt. Mocha trackt die Bildschirmoberfläche; das neue Bild wird entsprechend perspektivisch transformiert.
- Tattoo-Addition: Einem Schauspieler wird digital ein Tattoo hinzugefügt. Mocha trackt die Körperfläche; das Tattoo-Artwork wird mit korrekter Bewegung und Perspektive einkompositet.
- Sign Replacement: Ein Straßenschild mit falschem Text soll korrigiert werden. Planar Tracking verfolgt das Schild; eine neue Textur wird darüber gelegt.
In der Praxis
2D-Tracking ist oft der erste Schritt im Compositing-Workflow. Der Compositor oder ein dedizierter Tracker-Artist analysiert das Footage, identifiziert geeignete Features und erstellt Tracks. Die Track-Daten werden entweder direkt in Nuke – Compositing-Software oder als exportierte Dateien (z. B. Nuke-Skript, After Effects-Keyframes) weitergegeben.
Mocha's Planar-Tracking-Daten können als Stabilize-, Corner-Pin- oder als Roto-Shape-Bewegung exportiert werden — ein universell einsetzbares Format für viele Downstream-Prozesse.
Vergleich & Abgrenzung
| Eigenschaft | Punkt-Tracker | Planar-Tracker (Mocha) | 3D-Tracking |
|---|---|---|---|
| Verfolgter Inhalt | Einzelpunkte | Flächen/Ebenen | Gesamte Szene |
| Ausgabe | XY-Positionen | 2D-Transformation / Corner Pin | Kameraposition + Tiefe |
| Komplexität | Niedrig | Mittel | Hoch |
| Typische Anwendung | Text-Attachment | Screen Replacement | CGI-Integration |
Häufige Fragen (FAQ)
Wann scheitert 2D-Tracking? Bei Features, die sich nicht in einer Ebene befinden (z. B. eine drehende Kugel), oder wenn Features zu lange verdeckt sind. In diesen Fällen ist manuelles Keyframing oder 3D-Kamera-Tracking nötig.
Was ist der Unterschied zwischen Tracking und Matchmoving? Tracking extrahiert 2D-Bewegungsdaten aus dem Bild. Match Moving bezeichnet die vollständige 3D-Kamerarekonstruktion, die eine dreidimensionale Integration von CGI ermöglicht.
Kann ich 2D-Tracking für VR/360-Video nutzen? Ja, allerdings erfordert equirektangulares Footage spezielle Tracking-Modi, da planares Tracking in verzerrten 360°-Bildern nicht korrekt funktioniert.
Verwandte Einträge
Weiterführend
- Boris FX: Mocha Pro Benutzerhandbuch, online, 2024,
- Brinkmann, Ron: The Art and Science of Digital Compositing, 2. Aufl., Morgan Kaufmann, 2008
- Wright, Steve: Digital Compositing for Film and Video, 3. Aufl., Focal Press, 2010
- Kanade, Takeo; Lucas, Bruce: An Iterative Image Registration Technique with an Application to Stereo Vision, DARPA Image Understanding Workshop, 1981
