Render Farm – verteiltes Rendering

Render Farm ist ein verteiltes Computersystem, das VFX- und Animations-Rendering-Jobs auf viele parallele Prozessor-Knoten (Render Nodes) aufteilt, um die für Filmproduktionen erforderliche enorme Rechenleistung bereitzustellen.

Rubrik: Animation & VFX · Unterrubrik: VFX-Techniken · Niveau: Fortgeschritten

Synonyme / Auch bekannt als: Render Cluster, Distributed Rendering, Render Grid, Render Queue, Batch Rendering, Cloud Rendering

Was ist eine Render Farm?

Ein einzelner Renderframe eines CGI-Shots mit Path-Tracing, volumetrischen Simulationen und komplexen Shadern kann mehrere Stunden auf einem High-End-Workstation-Rechner dauern. Für eine 90-minütige Animationsfilm mit 129.600 Frames (bei 24 fps) wäre das bei 2 Stunden/Frame eine Rechenzeit von 259.200 Stunden – oder fast 30 Jahre auf einem einzelnen Rechner.

Eine Render Farm löst dieses Problem durch horizontale Skalierung: anstelle eines mächtigen Rechners viele einfachere Nodes, die Frame-für-Frame (oder Sub-Frame) parallel arbeiten. Rendering ist naturgemäß embarrassingly parallel – Frame 100 ist von Frame 99 völlig unabhängig –, was Render Farms zu ideal skalierenden Systemen macht.

Erklärung

Architektur einer Render Farm

Render Manager (Job Scheduler): Zentrale Software, die Jobs in einzelne Tasks (Frames oder Frame-Ranges) aufteilt, auf verfügbare Nodes verteilt, Fehler überwacht und Prioritäten verwaltet. Beispiele: Deadline (Thinkbox / AWS), Tractor (Pixar), Qube (PipelineFX), RR (Royal Render).

Render Nodes: Einzelne Computer (physische Server oder VMs), die Render-Tasks ausführen. Typische Ausstattung professioneller Nodes: 32–128 CPU-Cores (AMD EPYC oder Intel Xeon Scalable), 256–1024 GB RAM, NVMe-Storage für lokalen Cache.

Storage-System: Alle Nodes greifen auf ein gemeinsames Netzwerk-Dateisystem zu (NFS, SMB, oder proprietäre VFX-Storages wie Lustre, BeeGFS, VAST). Latenz und Bandbreite sind kritisch: ein typisches EXR-Frame ist 50–200 MB; 100 Nodes × 2 Frames/Stunde = 40 GB/Stunde I/O.

Network: 10 GbE oder 25 GbE Ethernet pro Node; für intensive Jobs (Deep EXR, Fluid-Renders) 100 GbE im Core-Switch; InfiniBand für ultra-low-latency (selten für Rendering notwendig).

Job-Submission und Rendering

Frame Splitting: Ein 5-Sekunden-Shot (120 Frames bei 24 fps) wird in 120 einzelne Frame-Tasks aufgeteilt; jeder Frame läuft auf einem separaten Node.

Tile Rendering: Einzelne hochauflösende Frames (z. B. 8K) werden in Kacheln aufgeteilt und auf mehrere Nodes verteilt; Kacheln danach zusammengefügt.

Preemptive vs. Non-preemptive Scheduling: Eilige Jobs können laufende niederprioritäre Jobs unterbrechen (Preemptive); das ist für Produktionspipelines wichtig.

Dependencies: Compositing-Jobs dürfen erst starten, wenn alle Render-Jobs abgeschlossen sind; der Render Manager verwaltet diese Abhängigkeiten.

CPU vs. GPU Rendering

Hybrides Rendering: Neuere Renderer (Arnold XPU, Karma XPU) kombinieren CPU und GPU; große Szenen laufen im CPU-Mode, einfache Passes auf GPU.

Cloud Rendering

AWS Thinkbox (Deadline on Cloud): Auto-Scaling von Render Nodes auf EC2-Instanzen; Pay-per-Render-Minute; ideal für Produktionsspitzen ohne eigene Infrastruktur.

Google Cloud / Azure: Ähnliche Ansätze; NVIDIA A100/H100-Instanzen für GPU-Rendering.

Drittanbieter-Cloud-Farms: GarageFarm, Fox Renderfarm, RebusFarm; für kleinere Studios und Freelancer; abonnierbar.

Render Farm Management: Deadline vs. Tractor

AWS Deadline (Thinkbox): Führendes Render-Management-System in mittelgroßen Studios; umfangreiche Plugin-Bibliothek (Arnold, Houdini, Nuke, Blender, Cinema 4D); AWS-Tight-Integration; Python-Scripting; kostenlos bis 2019, jetzt Teil von AWS.

Tractor (Pixar): Intern bei Pixar entwickelt; JSON-basierte Job-Description (tcl-API); sehr flexibel für komplexe Pipeline-Setups; weniger Plugins als Deadline; typisch in Studios mit RenderMan-Pipeline.

Qube (PipelineFX): Robustes System; gut für Broadcast und kleinere VFX-Studios; Worker-Lizenzierung.

Beispiele

1. Toy Story 3 (Lee Unkrich, 2010) – Pixar's Renderfarm: ca. 2.000 Render-Server; ein einziger Frame dauerte bis zu 14 Stunden (Tae's Rave-Szene); Tractor als Render Manager.
2. Avengers: Endgame (Russo Brothers, 2019) – ILM London: über 3.000 Render-Nodes; AWS-Cloud-Burst für Produktionspitze; Deadline als Manager.
3. Der Herr der Ringe: Ringe der Macht (Amazon Prime, 2022) – Weta FX: Render Farm mit mehreren Tausend Nodes; Echtzeit-Rendering kombiniert mit offlinem Path Tracing.
4. Frozen 2 (Chris Buck & Jennifer Lee, 2019) – Walt Disney Animation Studios: 50.000 CPU-Cores in Render Farm; 6 Petabyte Storage; Verwaltung mit Diner (interne Disney-Software).
5. The Matrix Resurrections (Lana Wachowski, 2021) – Storm Studios / Framestore: Render Farm für komplexe Matrix-Digital-Rain-Szenen und CGI-Agenten.

Schritt-für-Schritt Workflow

1. Render-Job vorbereiten: Szene in 3D-Software fertigstellen; Render-Settings konfigurieren (Auflösung, Sample-Count, AOVs); Szene auf Netzwerk-Storage ablegen.
2. Job submitten: Über Deadline-Monitor oder Submission-Script: Renderer (z. B. Arnold), Szene-Pfad, Frame-Range (1–240), Output-Pfad, Priority eingeben.
3. Node-Auswahl: Deadline verteilt automatisch auf verfügbare Nodes; manuelle Pool-Selektion möglich (GPU-Nodes für GPU-Render).
4. Monitoring: Deadline-Monitor oder Web-GUI; Fehler-Frames identifizieren (roter Status); Logs prüfen (Speichermangel, fehlende Texturen).
5. Fehlerbehandlung: Fehlgeschlagene Frames neu starten; häufige Fehler: fehlende Texturen (Netzwerk-Pfad-Problem), RAM-Overflow (Szene zu komplex), Timeouts.
6. Output validieren: Rendings sichten; EXR-Sequence auf Artefakte prüfen; Nuke/Houdini Flipbook für schnellen Review.
7. Compositing-Job nachschalten: Nach Abschluss aller Render-Frames Compositing-Jobs (Nuke-Scripts) per Dependency in Deadline enqueueen.
8. Archive: Finales Output plus Source-Renders auf Langzeit-Storage (LTO-Tape oder Cloud-Archiv) sichern.

In der Praxis

Deadline (AWS Thinkbox): Installiert auf allen Render Nodes und einer zentralen Repository-Instanz; Python-API für Custom-Integration; kostenloser Start mit eigenem Infrastruktur.

Tractor (Pixar): JSON-Job-Scheduling; tight RenderMan-Integration; in Pixar/ILM-Produktionen Standard.

Royal Render (RR9): In Deutschland entwickeltes Render-Management-System; sehr breite DCC-Plugin-Unterstützung; bei europäischen Studios beliebt; Einmalikaufpreis (kein Abo).

Blender Farm: Open-Source-Render-Manager für Blender (Flamenco, früher Attract); kostenlos; für Indie-Studios geeignet.

Vergleich & Abgrenzung

Häufige Fragen (FAQ)

Wie groß ist eine typische Render Farm für ein VFX-Studio? Mittelgroße VFX-Studios (100–300 Mitarbeiter) betreiben typisch 500–2.000 Render Nodes mit 32–128 CPU-Cores pro Node – das entspricht 16.000–256.000 parallelen Threads. Größere Studios (ILM, DNEG, Weta FX) haben mehrere Tausend Nodes zuzüglich Cloud-Burst-Kapazität. Kleinere Studios und Freelancer nutzen Cloud-Farms oder Drittanbieter.

Was ist der Unterschied zwischen Render Farm und Render-Cluster für Simulation? Render Farms sind für embarrassingly parallel Tasks optimiert (jeder Frame unabhängig). Simulation-Cluster (für Houdini Pyro/FLIP auf mehrere Nodes verteilt via Distributed Simulation) haben ganz andere Anforderungen: niedrige Netzwerk-Latenz und MPI-Kommunikation zwischen Nodes sind kritisch, da Simulations-Steps voneinander abhängen. Distributed Simulation ist deutlich schwieriger zu implementieren und weniger verbreitet als Render Farming.

Verwandte Einträge

• Ray Tracing – physikalisch korrekte Beleuchtung
• Partikel-Simulation (Feuer, Rauch, Staub)
• KI-Denoising (OptiX, OIDN)

Weiterführend

• AWS Thinkbox. (2023). AWS Deadline Cloud Documentation.
• Pixar. (2023). Tractor Render Queue Documentation.
• VES (Visual Effects Society). (2014). The VES Handbook of Visual Effects (2. Aufl.). Focal Press. Kapitel: Pipeline.
• GarageFarm. (2023). Introduction to Cloud Render Farming.