Passthrough AR bezeichnet die Funktion von VR-Headsets, Kameras zu nutzen, um ein Live-Bild der realen Umgebung anzuzeigen und darin virtuelle Inhalte einzublenden, eine Video-basierte Alternative zu optischem See-Through in AR-Brillen.
Rubrik: Animation & VFX · Unterrubrik: VR & AR Gestaltung · Niveau: Fortgeschritten Synonyme / Auch bekannt als: Mixed Reality Passthrough, Video See-Through, Kamera-Passthrough, MR-Passthrough
Was ist Passthrough AR?
In klassischer Augmented Reality (→ Augmented Reality Grundlagen) sieht der Nutzer die reale Welt direkt durch transparente Linsen und virtuelle Inhalte werden darüber projiziert (Optical See-Through). Passthrough AR geht einen anderen Weg: Das VR-Headset ist vollständig geschlossen, enthält aber außen Kameras, die ein Live-Bild der Umgebung in Echtzeit auf die internen Displays übertragen. Virtuelle Objekte werden in diesen Kamerafeed composited.
Passthrough AR ermöglicht Mixed-Reality-Erfahrungen mit Hardware, die ursprünglich für VR entwickelt wurde, ohne die komplexen optischen Systeme von Geräten wie der HoloLens.
Erklärung
Technische Grundlagen
Kamerasystem: Moderne Passthrough-Headsets nutzen mehrere Außenkameras (typisch 2–8 Kameras). Meta Quest 3 nutzt hochauflösende RGB-Kameras für Farb-Passthrough; ältere Geräte (Quest 2) hatten nur schwarz-weiße Kameras.
Verarbeitungspipeline:
- Kameras nehmen Bild der realen Welt auf
- Bild wird in Echtzeit verarbeitet, entzerrt und für stereo-Darstellung aufbereitet
- Virtuelle Inhalte werden als Overlay hinzugefügt
- Das kombinierte Bild erscheint auf den Displays
Latenz: Das Kamerabild muss in Echtzeit verarbeitet werden. Zu hohe Latenz (>20 ms) erzeugt ein unangenehmes Gefühl, dass die Welt „hinterherhinkt". Apple Vision Pro erreicht unter 12 ms Motion-to-Photon mit dem dedizierten R1-Prozessor, so gering, dass es von natürlichem Sehen kaum zu unterscheiden ist. Meta Quest 3 hat ca. 20–30 ms, was spürbar aber tolerierbar ist.
Auflösung: Die Passthrough-Qualität ist direkt durch die Kameraauflösung begrenzt. Meta Quest 3: 18-fach höhere Auflösung als Quest 2-Passthrough, ca. 1,5 Megapixel pro Auge. Apple Vision Pro: deutlich höher durch Micro-OLED und hochwertige Kamerasysteme.
Passthrough vs. Optical See-Through
| Aspekt | Passthrough AR | Optical See-Through (HoloLens) |
|---|---|---|
| Bildqualität Realwelt | Kamera-abhängig | Perfekt (direkt) |
| Latenz | 12–30 ms | 0 ms |
| Virtualauflösung | Beliebig (auf Display) | Durch optisches System begrenzt |
| Occlusion | Möglich (Depth Sensing) | Schwierig |
| Brilliantheit virtueller Bilder | Sehr hoch | Begrenzt (Transparenz) |
| Dunkle Umgebungen | Kamera braucht Licht | Geht gut |
| Hardware-Komplexität | Gering | Sehr hoch |
Occlusion: Virtuelle Objekte hinter echten
Das anspruchsvollste Feature von Passthrough-MR: Virtuelle Objekte sollen hinter echten Objekten verschwinden. Ein virtueller Ball, der hinter einem echten Tisch verschwindet.
Dies erfordert eine Tiefenkarte der realen Umgebung, entweder durch:
- LiDAR/ToF-Sensor (Apple Vision Pro, iPhone Pro-Modelle in ARKit)
- Stereo-Depth aus zwei Kameras (Meta Quest 3 nutzt dies für Tiefenschätzung)
- Machine-Learning Segmentierung (Person Segmentation ohne Tiefensensor)
Meta Quest 3 bietet seit 2023 verbesserte Raumsegmentierung für Occlusion, aber noch nicht auf dem Niveau von LiDAR-Systemen.
Scene Understanding und Spatial Anchors
Moderne Passthrough-Systeme verstehen die Raumgeometrie:
- Room Setup (Meta): Nutzer zeichnet einmalig seinen Raum ab; das System kennt Wände, Böden, Fenster, Möbel
- Semantic Segmentation: Das System erkennt Objektkategorien (Tisch, Sessel, Fenster) und kann darauf basierend virtuelle Inhalte korrekt platzieren
- Spatial Anchors: Virtuelle Objekte werden in der realen Welt verankert und bleiben auch nach dem Aufsetzen des Headsets an derselben Stelle
Anwendungsgebiete
Consumer: Mixed Reality Gaming Meta Quest 3-Spiele nutzen Passthrough: In „Demeo" können Spieler ihre echte Spielfläche als Tisch nutzen. In „Spatial" können Meetings auf dem echten Schreibtisch stattfinden. AR-Spiele wie „Ghostbusters" nutzen den echten Raum als Spielfeld.
Arbeitsplatz und Produktivität Virtuelle Monitore im echten Arbeitsraum (Meta Quest 3 + Meta Quest desktop streaming, Vision Pro + Mac-Display). Schwebende Fenster über dem echten Schreibtisch, während der Nutzer die reale Tastatur noch sehen kann.
Industrie und Training Techniker tragen VR-Headset und sehen sowohl die echte Maschine als auch AR-Anleitungen direkt darüber (→ VR für Training und Bildung). Günstiger als HoloLens, aber mit Passthrough-AR ähnliche Funktionalität.
Kreative Anwendungen 3D-Skulpturen in der eigenen Wohnung erschaffen (Meta Horizon Creator, Google Tilt Brush passthrough-Modus). Virtuelle Möbel im echten Raum platzieren und mit echten Gegenständen auf derselben Fläche kombinieren.
Passthrough-Qualität im Vergleich (2024)
| Headset | Passthrough-Qualität | Latenz | Besonderheit |
|---|---|---|---|
| Apple Vision Pro | Sehr hoch, kaum von Real unterscheidbar | <12 ms | R1-Prozessor, hochwertigste Umsetzung |
| Meta Quest 3 | Gut, 1.5 MP/Auge, Farbe | ~20–30 ms | Bestes Preis-Leistungs-Verhältnis |
| Meta Quest 2 | Schlecht (schwarz-weiß, niedrige Auflösung) | ~40 ms | Nur für Safety-Guardian |
| Pico 4 | Gut, Farbe | ~25 ms | Günstige Alternative zu Quest 3 |
| HTC Vive XR Elite | Gut, Farbe | ~25 ms | PC-VR mit MR-Option |
In der Praxis
Entwicklung für Meta Quest 3 MR (Unity):
- Meta XR SDK installieren
OVRCameraRigmit Passthrough aktivierenOVRPassthroughLayerzur Szene hinzufügen- Virtuelle Objekte normal platzieren, sie erscheinen über dem Passthrough-Bild
Für Apple visionOS: Passthrough ist Standard. Fenster und 3D-Inhalte existieren automatisch im Raum.
Best Practice: Immer einen „Comfort Floor" zeigen (wenn nötig), damit Nutzer sicher navigieren können. Passthrough-AR sollte den Nutzer nicht von wichtigen Bewegungen in der echten Welt ablenken.
Häufige Fragen (FAQ)
Ist Passthrough schlechter als optisches See-Through? Für die Wahrnehmung der realen Welt ja: Kamerabild hat immer Latenz und Qualitätsgrenzen. Für die Qualität virtueller Einblendungen nein: VR-Displays zeigen virtuelle Inhalte brillanter und mit höherer Auflösung als die Waveguide-Optik der HoloLens.
Kann ich bei Passthrough normal in meiner Wohnung navigieren? Bei Apple Vision Pro ja, die Qualität ist so hoch, dass normales Gehen und Sehen möglich ist. Bei Meta Quest 3 ist es möglich, aber subtil eingeschränkt (leichte Latenz, optische Verzerrungen am Rand).
Verbraucht Passthrough mehr Akku? Ja, zusätzliche Kameras und Verarbeitung erhöhen den Energieverbrauch. Meta Quest 3 hat im MR-Modus ca. 10–15 % kürzere Akkulaufzeit als im reinen VR-Modus.
Verwandte Einträge
- Augmented Reality Grundlagen, Optisches See-Through als Alternative
- Mixed Reality (MR), Mixed Reality als übergeordnetes Konzept
- Spatial Computing (Apple Vision Pro), Apple Vision Pro und Passthrough-AR
- VR-Headsets im Vergleich, Passthrough-Vergleich zwischen Headsets
- Interaction Design in VR, Interface-Design für MR-Passthrough-Apps
- Eye Tracking in VR-Headsets, Eye Tracking ergänzt Passthrough-Interaktion
Weiterführend
- Drascic, D. & Milgram, P. (1996). Perceptual Issues in Augmented Reality. SPIE Proceedings, 2653, 123–134.
- Apple Vision Pro R1 Prozessor Technologie: apple.com/newsroom/2023/06/introducing-apple-vision-pro
- Meta Quest 3 Mixed Reality Dokumentation: developer.oculus.com/documentation/unity/unity-passthrough-overview
- Klinker, G. et al. (2022). Practical Considerations for Video-Based Augmented Reality. IEEE VR 2022.
