Deep Compositing: Theorie & Praxis in Nuke

Deep Compositing ist eine Compositing-Methodik, bei der jedes Pixel nicht nur einen einzigen Farbwert, sondern eine vollständige, tiefensortierten Liste von Farbproben enthält, was das korrekte Compositing von Volumenelementen wie Rauch, Nebel oder transluzenten Flüssigkeiten ermöglicht.

Rubrik: Animation & VFX · Unterrubrik: Nuke Compositing · Niveau: Profi Synonyme / Auch bekannt als: Deep Image Compositing, Deep Data, Volumetric Compositing, DCX-Format

Was ist Deep Compositing?

Klassisches „flaches" Compositing geht davon aus, dass ein Pixel entweder vollständig opak oder vollständig transparent ist – oder irgendwo dazwischen, definiert durch einen einzigen Alpha-Wert. Für opake Objekte genügt das vollkommen. Für Volumenelemente wie Rauch, Nebel, Feuer, Wolken oder Flüssigkeiten, bei denen Licht durch das Material hindurchtritt und dabei absorbiert und gestreut wird, ist ein einziger Alpha-Wert nicht ausreichend. Deep Compositing in Nuke: Übersicht & Einsatz in der VFX-Industrie löst dieses Problem durch die Speicherung mehrerer Farbproben pro Pixel, jede mit ihrer eigenen Z-Tiefeninformation.

Erklärung

Das Konzept des Deep Compositing wurde 2009 von Florian Kainz und Rod Bogart (ILM) in einem wegweisenden SIGGRAPH-Paper formalisiert. Die Idee ist, dass ein Renderer für jeden Pixel nicht nur den zusammengesetzten Farb- und Alphawert speichert, sondern eine sortierte Liste von Samples in der Z-Tiefe. Jedes Sample repräsentiert eine kleine Schicht im volumetrischen Element: z. B. Rauchpartikel in 3 Metern, 3,5 Metern, 4 Metern Abstand von der Kamera – jeweils mit einem kleinen Farbwert und Alphawert.

Beim Compositing zweier Deep-Image-Sequenzen werden die Sample-Listen beider Bilder nach Z-Tiefe sortiert und zusammengeführt (Merge Over-Operation in Tiefensortierung). Das Ergebnis ist ein korrektes Compositing, das berücksichtigt, welche Elemente sich vor oder hinter anderen befinden – auch wenn sie sich überlappen oder ineinander verschachtelt sind (z. B. Rauch, der vor einem CG-Charakter beginnt, aber teilweise auch dahinter ist).

Das OpenEXR Deep-Format (auch DCX oder DSX für Tief-Stereo-EXR) ist der Standard für die Speicherung von Deep-Image-Daten. Es wurde von ILM entwickelt und ist heute Teil der OpenEXR-2.x-Spezifikation. Renderers wie RenderMan, Arnold, V-Ray und Mantra (Houdini) können Deep EXR-Files ausgeben, die dann in Nuke geöffnet werden.

Nuke bietet eine vollständige Suite von Deep-Nodes für die Verarbeitung von Deep-Image-Daten:

• DeepRead / DeepWrite: Lesen und Schreiben von Deep-EXR-Dateien
• DeepMerge: Compositing-Operator für Deep-Daten (entspricht dem Merge Over für flache Bilder)
• DeepRecolor: Färbt Deep-Daten um
• DeepCrop: Beschneidet die Tiefenreichweite
• DeepSample: Zeigt die Sample-Daten eines einzelnen Pixels für Debugging-Zwecke
• DeepToImage: Konvertiert Deep-Daten in ein flaches Bild für die finale Ausgabe
• DeepHoldout: Erzeugt korrekte Hold-Out-Matten für den Deep-Workflow

Ein besonders wertvolles Feature ist das korrekte Compositing von überlappenden Volumenelementen: Wenn Rauch aus einer Explosion vor einem CG-Charakter beginnt und hinter ihm endet, ist dies mit flachem Compositing nur mit sehr aufwändigem Multi-Layer-Ansatz lösbar. Mit Deep Compositing ist es eine einzige DeepMerge-Operation.

Ein Nachteil von Deep Compositing ist die Datenmenge: Deep-EXR-Files können erheblich größer sein als flache EXRs (oft 10-50x), da sie für jeden Pixel hunderte von Samples speichern können. Dies wirkt sich auf Renderzeiten, Speicherplatz und Verarbeitungsgeschwindigkeit in Nuke aus. In der Praxis wird Deep Compositing daher selektiv für Shots eingesetzt, bei denen die Qualitätsverbesserung den Mehraufwand rechtfertigt.

Beispiele

1. Rauch und Explosion: Ein CGI-Explosionseffekt mit dichtem Rauch wird über einen CGI-Charakter gemergt; Deep Compositing stellt sicher, dass der Rauch korrekt vor und hinter dem Charakter erscheint.
2. Underwater-Szene: Eine Unterwasser-Komposition mit volumetrischem Wasser-Scatter benötigt Deep Compositing für die korrekte Integration von Blasen und Schwebpartikeln um ein 3D-Modell.
3. Wolken-Flythrough: Ein Kameraflug durch Wolken kombiniert mit echtem Himmel nutzt Deep Compositing für die korrekte Tiefensortierung zwischen realen und CG-Wolken.
4. Nebel in einer Stadtszene: Atmosphärischer Nebel, der sich zwischen Gebäuden bewegt und teilweise Objekte verdeckt, wird via Deep Compositing nahtlos integriert.
5. Feuer und Charaktere: Ein CGI-Feuereffekt, der einen Darsteller zu umhüllen scheint, wird via Deep Compositing mit der Live-Action-Aufnahme kombiniert.

In der Praxis

Deep Compositing ist ein fortgeschrittenes Verfahren, das enge Zusammenarbeit zwischen dem Compositor und dem Lighting/Rendering-Department erfordert. Der Renderer muss für Deep-Output konfiguriert werden, was Renderzeiten und Dateigrößen erhöht. In der Praxis wird Deep Compositing nicht für jeden Shot eingesetzt, sondern gezielt für Shots, bei denen volumetrische Überlappungen zu sichtbaren Qualitätsproblemen im flachen Compositing führen würden.

Für das Testing und Debugging sind die DeepSample- und DeepToImage-Nodes in Nuke wichtige Werkzeuge, um die Deep-Daten zu verstehen und Probleme zu diagnostizieren.

Vergleich & Abgrenzung

Flaches Compositing reicht für die meisten Shots aus – opake Objekte mit Alpha-Kanal müssen nicht als Deep-Data verarbeitet werden. Blackmagic Fusion bietet ebenfalls Deep-Compositing-Unterstützung. Houdini und spezialisierte Renderer (Mantra, RenderMan) sind die typischen Quellen für Deep-EXR-Daten. Deep Compositing ist eine Niche-Technik für spezifische Problemstellungen, kein universelles Verfahren.

Häufige Fragen (FAQ)

Wann ist Deep Compositing unbedingt notwendig? Deep Compositing ist notwendig, wenn sich volumetrische Elemente (Rauch, Nebel, Feuer, transluzente Flüssigkeiten) mit anderen 3D-Elementen räumlich überschneiden und korrekt tiefensortiert werden müssen. Für reine 2D-Compositing-Aufgaben oder opake Objekte ist flaches Compositing stets ausreichend und effizienter.

Wie groß werden Deep-EXR-Files typischerweise? Das hängt stark von der Szene ab. Ein flaches RGBA-EXR für einen Full-HD-Frame mit 16-Bit-Fließkomma ist etwa 24 MB. Ein Deep-EXR desselben Frames kann je nach Sampling-Dichte zwischen 100 MB und mehreren Gigabyte groß sein. Für 4K-Material mit komplexen Volumetrics sind Deep-EXRs von 2–10 GB pro Frame keine Seltenheit.

Verwandte Einträge

• Nuke: Übersicht & Einsatz in der VFX-Industrie
• 3D Workspace & Szenen-Import in Nuke
• Merge Node: Ebenen zusammenführen in Nuke
• Farbmanagement & ACES in Nuke
• VFX-Pipeline: Nuke im Studio-Workflow

Weiterführend

• Kainz, Florian; Bogart, Rod (2009): „Deep Compositing Using Lie Algebras". In: SIGGRAPH 2009 Papers. ACM. New York.
• Foundry (2024): Nuke User Guide – Deep Compositing. The Foundry. London.
• Seymour, Mike (2014): „Deep Compositing – A Technical Deep Dive". In: fxguide.com. URL: