DaVinci Resolve: DaVinci Neural Engine (KI-Features)

Die DaVinci Neural Engine ist Blackmagic Designs proprietäre KI-Verarbeitungsarchitektur in DaVinci Resolve, die GPU-beschleunigte Deep-Learning-Modelle für automatische Bildanalyse, Masken-Generierung, Farbabgleich, Rauschreduzierung und Spracherkennung einsetzt.

Rubrik: Software & Tools · Unterrubrik: DaVinci Resolve · Niveau: Fortgeschritten Synonyme / Auch bekannt als: KI-Features, AI-Tools, Machine Learning in DaVinci (Menüpfad: diverse, abhängig vom Feature; primär Color Page, Edit Page, Cut Page)

Was ist die DaVinci Neural Engine?

Die DaVinci Neural Engine ist Blackmagics KI-Infrastruktur innerhalb von DaVinci Resolve Studio. Sie nutzt trainierte Deep-Learning-Modelle, die auf der GPU ausgeführt werden, um zeitaufwendige Aufgaben zu automatisieren: Personen in Bildern erkennen und maskieren, Gesichtsmerkmale verfeinern, Farbpaletten abgleichen, Sprache transkribieren und Untertitel generieren. Die Neural Engine ist ausschließlich in der Studio-Version verfügbar und erfordert eine CUDA- oder Metal-fähige GPU.

Erklärung

Magic Mask

Magic Mask ist das prominenteste Neural-Engine-Feature. Es segmentiert automatisch Personen, Tiere oder benutzerdefinierte Objekte in einem Clip per KI-Analyse und erstellt eine hochpräzise, animierte Matte – ohne manuelle Rotoscoping-Arbeit.

• Person-Segmentierung: Erkennt Personen im Bild und erstellt eine Maske (Kopf, oberer Körper, ganzer Körper).
• Objektmaske: Beliebige Regionen können mit dem Pinselwerkzeug markiert werden; die Neural Engine extrapoliert die Maske auf alle Frames.
• Matten-Qualität: Verarbeitet Haare, weiche Kanten und transparente Elemente besser als klassische Qualifizierer.

Face Refinement

Face Refinement analysiert Gesichter im Bild und ermöglicht selektive Anpassungen von Haut, Lippen, Augen und Haaren in eigenen Sub-Tracks:

• Hauttöne separat korrigieren ohne Qualifying.
• Augen aufhellen (automatisch erkannt).
• Zahnscharfzeichnung.

Anwendung: Direkt über den Face Refinement-Node in der Color Page.

Automatic Color Match

Color Match analysiert zwei Clips (Referenz und Ziel) und passt automatisch Belichtung, Farbbalance und Kontrast des Ziel-Clips an den Referenz-Clip an. Die Neural Engine berechnet die nötigen Korrekturen per Bildanalyse in Sekunden. Anschließend können Ergebnisse manuell verfeinert werden.

Speed Warp (Optical Flow)

Speed Warp ist eine Neural-Engine-beschleunigte Optical-Flow-Interpolation für Zeitlupe und Zeitraffer. Gegenüber dem klassischen Optical Flow nutzt Speed Warp Deep-Learning-Modelle für eine deutlich präzisere Frameschätzung, besonders bei komplexen Bewegungen (Haare, Wasser, Kameraschwenks).

Automatic Audio Transcription und Untertitel

Die Neural Engine transkribiert Sprache aus Audio-Spuren automatisch und erzeugt synchrone Untertitel-Clips in der Timeline (Edit Page → Timeline → Create Subtitles from Audio). Unterstützte Sprachen wachsen mit jeder Resolve-Version; Deutsch ist enthalten. Die Transkription läuft lokal auf der GPU ohne Cloud-Abhängigkeit.

Noise Reduction (AI-basiert)

Die AI-basierte Noise Reduction (Spatial AI) nutzt Deep-Learning-Modelle anstatt klassischer Filter-Algorithmen und erreicht bei hochsensitivem Material (ISO 6400+) deutlich bessere Ergebnisse ohne den typischen „Plastik-Look" herkömmlicher Spatial Noise Reduction.

Object Removal

Der Object Removal-Effekt (Edit Page Effekte-Bibliothek) analysiert benachbarte Frames und entfernt markierte Objekte (z.B. Mikrofon im Bild, Straßenschilder) per KI-basiertem Inpainting – ähnlich wie der Content-Aware-Fill in After Effects.

Beispiele

1. Schnelle Hauttonkorrektur: Face Refinement Node in Color Page; Haut automatisch segmentiert; Farbkorrektur ohne manuellen Qualifier.
2. Zeitlupe aus 60fps: Speed Warp auf 25fps-Material mit 25% Geschwindigkeit; deutlich flüssigere Zeitlupe als klassisches Frame-Blending.
3. Automized Subtitles: Interview in Deutsch transkribieren; Untertitel-Timeline in 3 Minuten fertig statt manueller Eingabe.
4. Magic Mask Isolierung: Sportler auf Stadionhintergrund; Körper isoliert, Hintergrund blurred oder farblich angepasst.
5. Color Match auf Multi-Kamera: Clip 1 als Referenz; Neural Engine gleicht alle anderen Clips der Szene automatisch an.

In der Praxis

Schritt-für-Schritt: Magic Mask anwenden

1. Color Page öffnen, Clip auswählen.
2. Neuen seriellen Node anlegen (Alt+S).
3. Im linken Panel: „Magic Mask" aufrufen (Magic-Wand-Symbol oder über Qualifier-Dropdown).
4. Modus wählen: „Person" oder „Object".
5. Bei „Person": Clip wird analysiert; Matte automatisch generiert.
6. Bei „Object": Pinselwerkzeug auf das Zielobjekt im ersten Frame streichen; „Analyze Forward" klicken.
7. Highlight (Shift+H) prüfen, Matte verfeinern falls nötig.
8. Farbkorrektur auf diesen Node anwenden – wirkt nur auf die maskierte Fläche.

Fallstricke:

• Neural Engine benötigt eine kompatible NVIDIA CUDA- oder Apple Metal GPU; ohne dedizierte GPU läuft die Analyse auf der CPU und ist sehr langsam.
• Magic Mask versagt bei niedriger Auflösung, starkem Rauschen oder extremen Kamerawinkeln.
• Automatische Transkription ist fehleranfällig bei Akzenten, Fremdwörtern und schlechter Tonqualität – immer korrekturlesen.

Vergleich & Abgrenzung

Adobe Premiere Pro / Sensei bietet ähnliche KI-Features (Auto Reframe, Scene Edit Detection, Speech to Text), ist aber Cloud-abhängig für bestimmte Funktionen. After Effects hat Roto Brush 2 (Adobe Sensei) für ähnliche Masken-Generierung. Final Cut Pro hat seit macOS Ventura Apples Neural Engine (Apple Silicon) für schnelle, lokale KI-Verarbeitung, aber weniger dedizierte Features als DaVincis Neural Engine. DaVinci überzeugt durch vollständige lokale Verarbeitung ohne Cloud-Anbindung.

Häufige Fragen (FAQ)

Wie funktioniert die DaVinci Neural Engine? Die Neural Engine nutzt vortrainierte Deep-Learning-Modelle, die lokal auf der GPU des Rechners ausgeführt werden. Die Modelle wurden auf großen Bildmengen trainiert und können Bildinhalte (Personen, Gesichter, Bewegungen, Sprache) erkennen und analysieren. Die Ergebnisse werden als Masken, Korrekturen oder Transkriptionen in den DaVinci-Workflow integriert.

Brauche ich die Studio-Version für die Neural Engine? Ja – alle Neural-Engine-Features (Magic Mask, Face Refinement, Color Match, Speed Warp, Auto Captions, AI Noise Reduction) sind ausschließlich in der kostenpflichtigen Studio-Version verfügbar. Die kostenlose Version enthält keine KI-gestützten Features dieser Art.

Weiterführend

• Blackmagic Design: DaVinci Resolve 19 – DaVinci Neural Engine Features. Blackmagic Design Pty. Ltd., 2024.
• Blackmagic Design: DaVinci Resolve Studio Product Page. 2024.
• Elgammal, Ahmed: „AI and Creative Image Workflows". In: SIGGRAPH Proceedings, 2023.