Passthrough AR bezeichnet die Funktion von VR-Headsets, Kameras zu nutzen, um ein Live-Bild der realen Umgebung anzuzeigen und darin virtuelle Inhalte einzublenden – eine Video-basierte Alternative zu optischem See-Through in AR-Brillen.
Rubrik: Animation & VFX · Unterrubrik: VR & AR Gestaltung · Niveau: Fortgeschritten Synonyme / Auch bekannt als: Mixed Reality Passthrough, Video See-Through, Kamera-Passthrough, MR-Passthrough
Was ist Passthrough AR?
In klassischer Augmented Reality (→ Augmented Reality Grundlagen) sieht der Nutzer die reale Welt direkt durch transparente Linsen und virtuelle Inhalte werden darüber projiziert (Optical See-Through). Passthrough AR geht einen anderen Weg: Das VR-Headset ist vollständig geschlossen, enthält aber außen Kameras, die ein Live-Bild der Umgebung in Echtzeit auf die internen Displays übertragen. Virtuelle Objekte werden in diesen Kamerafeed composited.
Passthrough AR ermöglicht Mixed-Reality-Erfahrungen mit Hardware, die ursprünglich für VR entwickelt wurde – ohne die komplexen optischen Systeme von Geräten wie der HoloLens.
Erklärung
Technische Grundlagen
Kamerasystem: Moderne Passthrough-Headsets nutzen mehrere Außenkameras (typisch 2–8 Kameras). Meta Quest 3 nutzt hochauflösende RGB-Kameras für Farb-Passthrough; ältere Geräte (Quest 2) hatten nur schwarz-weiße Kameras.
Verarbeitungspipeline:
- Kameras nehmen Bild der realen Welt auf
- Bild wird in Echtzeit verarbeitet, entzerrt und für stereo-Darstellung aufbereitet
- Virtuelle Inhalte werden als Overlay hinzugefügt
- Das kombinierte Bild erscheint auf den Displays
Latenz: Das Kamerabild muss in Echtzeit verarbeitet werden. Zu hohe Latenz (>20 ms) erzeugt ein unangenehmes Gefühl, dass die Welt „hinterherhinkt". Apple Vision Pro erreicht unter 12 ms Motion-to-Photon mit dem dedizierten R1-Prozessor – so gering, dass es von natürlichem Sehen kaum zu unterscheiden ist. Meta Quest 3 hat ca. 20–30 ms, was spürbar aber tolerierbar ist.
Auflösung: Die Passthrough-Qualität ist direkt durch die Kameraauflösung begrenzt. Meta Quest 3: 18-fach höhere Auflösung als Quest 2-Passthrough, ca. 1,5 Megapixel pro Auge. Apple Vision Pro: deutlich höher durch Micro-OLED und hochwertige Kamerasysteme.
Passthrough vs. Optical See-Through
| Aspekt | Passthrough AR | Optical See-Through (HoloLens) |
|---|---|---|
| Bildqualität Realwelt | Kamera-abhängig | Perfekt (direkt) |
| Latenz | 12–30 ms | 0 ms |
| Virtualauflösung | Beliebig (auf Display) | Durch optisches System begrenzt |
| Occlusion | Möglich (Depth Sensing) | Schwierig |
| Brilliantheit virtueller Bilder | Sehr hoch | Begrenzt (Transparenz) |
| Dunkle Umgebungen | Kamera braucht Licht | Geht gut |
| Hardware-Komplexität | Gering | Sehr hoch |
Occlusion: Virtuelle Objekte hinter echten
Das anspruchsvollste Feature von Passthrough-MR: Virtuelle Objekte sollen hinter echten Objekten verschwinden. Ein virtueller Ball, der hinter einem echten Tisch verschwindet.
Dies erfordert eine Tiefenkarte der realen Umgebung, entweder durch:
- LiDAR/ToF-Sensor (Apple Vision Pro, iPhone Pro-Modelle in ARKit)
- Stereo-Depth aus zwei Kameras (Meta Quest 3 nutzt dies für Tiefenschätzung)
- Machine-Learning Segmentierung (Person Segmentation ohne Tiefensensor)
Meta Quest 3 bietet seit 2023 verbesserte Raumsegmentierung für Occlusion, aber noch nicht auf dem Niveau von LiDAR-Systemen.
Scene Understanding und Spatial Anchors
Moderne Passthrough-Systeme verstehen die Raumgeometrie:
- Room Setup (Meta): Nutzer zeichnet einmalig seinen Raum ab; das System kennt Wände, Böden, Fenster, Möbel
- Semantic Segmentation: Das System erkennt Objektkategorien (Tisch, Sessel, Fenster) und kann darauf basierend virtuelle Inhalte korrekt platzieren
- Spatial Anchors: Virtuelle Objekte werden in der realen Welt verankert und bleiben auch nach dem Aufsetzen des Headsets an derselben Stelle
Anwendungsgebiete
Consumer: Mixed Reality Gaming Meta Quest 3-Spiele nutzen Passthrough: In „Demeo" können Spieler ihre echte Spielfläche als Tisch nutzen. In „Spatial" können Meetings auf dem echten Schreibtisch stattfinden. AR-Spiele wie „Ghostbusters" nutzen den echten Raum als Spielfeld.
Arbeitsplatz und Produktivität Virtuelle Monitore im echten Arbeitsraum (Meta Quest 3 + Meta Quest desktop streaming, Vision Pro + Mac-Display). Schwebende Fenster über dem echten Schreibtisch, während der Nutzer die reale Tastatur noch sehen kann.
Industrie und Training Techniker tragen VR-Headset und sehen sowohl die echte Maschine als auch AR-Anleitungen direkt darüber (→ VR für Training und Bildung). Günstiger als HoloLens, aber mit Passthrough-AR ähnliche Funktionalität.
Kreative Anwendungen 3D-Skulpturen in der eigenen Wohnung erschaffen (Meta Horizon Creator, Google Tilt Brush passthrough-Modus). Virtuelle Möbel im echten Raum platzieren und mit echten Gegenständen auf derselben Fläche kombinieren.
Passthrough-Qualität im Vergleich (2024)
| Headset | Passthrough-Qualität | Latenz | Besonderheit |
|---|---|---|---|
| Apple Vision Pro | Sehr hoch, kaum von Real unterscheidbar | <12 ms | R1-Prozessor, hochwertigste Umsetzung |
| Meta Quest 3 | Gut, 1.5 MP/Auge, Farbe | ~20–30 ms | Bestes Preis-Leistungs-Verhältnis |
| Meta Quest 2 | Schlecht (schwarz-weiß, niedrige Auflösung) | ~40 ms | Nur für Safety-Guardian |
| Pico 4 | Gut, Farbe | ~25 ms | Günstige Alternative zu Quest 3 |
| HTC Vive XR Elite | Gut, Farbe | ~25 ms | PC-VR mit MR-Option |
In der Praxis
Entwicklung für Meta Quest 3 MR (Unity):
- Meta XR SDK installieren
OVRCameraRigmit Passthrough aktivierenOVRPassthroughLayerzur Szene hinzufügen- Virtuelle Objekte normal platzieren – sie erscheinen über dem Passthrough-Bild
Für Apple visionOS: Passthrough ist Standard. Fenster und 3D-Inhalte existieren automatisch im Raum.
Best Practice: Immer einen „Comfort Floor" zeigen (wenn nötig), damit Nutzer sicher navigieren können. Passthrough-AR sollte den Nutzer nicht von wichtigen Bewegungen in der echten Welt ablenken.
Häufige Fragen (FAQ)
Ist Passthrough schlechter als optisches See-Through? Für die Wahrnehmung der realen Welt ja: Kamerabild hat immer Latenz und Qualitätsgrenzen. Für die Qualität virtueller Einblendungen nein: VR-Displays zeigen virtuelle Inhalte brillanter und mit höherer Auflösung als die Waveguide-Optik der HoloLens.
Kann ich bei Passthrough normal in meiner Wohnung navigieren? Bei Apple Vision Pro ja – die Qualität ist so hoch, dass normales Gehen und Sehen möglich ist. Bei Meta Quest 3 ist es möglich, aber subtil eingeschränkt (leichte Latenz, optische Verzerrungen am Rand).
Verbraucht Passthrough mehr Akku? Ja, zusätzliche Kameras und Verarbeitung erhöhen den Energieverbrauch. Meta Quest 3 hat im MR-Modus ca. 10–15 % kürzere Akkulaufzeit als im reinen VR-Modus.
Verwandte Einträge
- Augmented Reality Grundlagen – Optisches See-Through als Alternative
- Mixed Reality (MR) – Mixed Reality als übergeordnetes Konzept
- Spatial Computing (Apple Vision Pro) – Apple Vision Pro und Passthrough-AR
- VR-Headsets im Vergleich – Passthrough-Vergleich zwischen Headsets
- Interaction Design in VR – Interface-Design für MR-Passthrough-Apps
- Eye Tracking in VR-Headsets – Eye Tracking ergänzt Passthrough-Interaktion
Weiterführend
- Drascic, D. & Milgram, P. (1996). Perceptual Issues in Augmented Reality. SPIE Proceedings, 2653, 123–134.
- Apple Vision Pro R1 Prozessor Technologie: apple.com/newsroom/2023/06/introducing-apple-vision-pro
- Meta Quest 3 Mixed Reality Dokumentation: developer.oculus.com/documentation/unity/unity-passthrough-overview
- Klinker, G. et al. (2022). Practical Considerations for Video-Based Augmented Reality. IEEE VR 2022.
