Mixed Reality: Passthrough & Hybrid-Erlebnisse

Mixed Reality (MR) ist eine Technologie, bei der digitale Objekte und Informationen nicht nur über die reale Welt gelegt, sondern aktiv mit ihr verknüpft werden – digitale Inhalte reagieren auf die physische Umgebung und umgekehrt.

Rubrik: Mediendesign & Digitale Medien · Unterrubrik: AR & VR · Niveau: Einsteiger

Was ist Mixed Reality?

Der Begriff Mixed Reality wurde von Paul Milgram und Fumio Kishino (1994) im Kontext ihres Reality-Virtuality-Kontinuums geprägt. Er bezeichnet den Bereich zwischen reiner Realität und reiner Virtualität, in dem reale und digitale Objekte koexistieren und interagieren.

Im heutigen Sprachgebrauch hat sich MR enger gefasst: Mixed Reality bezeichnet Erlebnisse, bei denen digitale Objekte räumlich verstehen, mit realen Oberflächen interagieren (auf Tischen landen, hinter Wänden verschwinden) und persistent in der Umgebung verankert werden können. Dies unterscheidet MR von einfachem AR, das digitale Inhalte nur überlagert, ohne echte räumliche Integration.

Aktuelle MR-fähige Geräte setzen auf zwei technische Ansätze: Video-Passthrough (Meta Quest 3, Apple Vision Pro) und Optical See-Through (Microsoft HoloLens, Magic Leap).

Erklärung

Passthrough-Technologie

Video-Passthrough: Beim Video-Passthrough sind die Linsen des Headsets opak; Kameras an der Vorderseite des Geräts filmen die reale Umgebung und zeigen das Bild auf den Innen-Displays an – verarbeitet und in Echtzeit digital angereichert. Die Meta Quest 3 nutzt Farbkameras mit 18 PPD (Pixels per Degree) für den Passthrough; das Apple Vision Pro überbietet dies deutlich mit ca. 25+ PPD und einer Latenz von 12 ms (subjektiv latenzfrei).

Vorteile von Video-Passthrough:

• Digitale und reale Inhalte auf demselben Display, perfekte Oklusion möglich
• Kamerabasierte Umgebungsanalyse für präzises Raumverständnis (Mesh-Erkennung)
• Adaptierbare Helligkeit und Farbgestaltung

Nachteile:

• Qualität begrenzt durch Kameraauflösung (immer schlechter als direkte Wahrnehmung)
• Latenz (selbst 12 ms beim Vision Pro ist physisch spürbar bei schnellen Bewegungen)
• Privatsphäre-Bedenken bei kontinuierlichem Kamera-Streaming

Optical See-Through: Optische Durchsicht-Headsets wie die Microsoft HoloLens 2 nutzen halbdurchlässige Wellenleiter-Displays (Waveguide-Displays): Die reale Welt wird direkt durch das Glas gesehen, und hologafische Projektionen werden additiv eingeblendet. Das ergibt natürliche Wahrnehmung der Umgebung, aber schlechtere Oklusion (digitale Objekte können nicht hinter realen Objekten „verschwinden").

Spatial Anchors

Spatial Anchors sind die Grundlage persistenter MR-Erfahrungen. Sie sind digitale Koordinatenpunkte, die an spezifischen physischen Orten der realen Welt verankert sind und über Sessions hinaus gespeichert werden können.

Beispiel: Ein AR-Holo-Whiteboard wird einmal im Konferenzraum positioniert. Beim nächsten Öffnen der App erscheint es exakt an derselben Stelle. Das setzt voraus, dass das SLAM-System die Umgebung wiedererkennt.

Plattformimplementierungen:

• Azure Spatial Anchors (Microsoft): Cloud-basierte Spatial Anchors, die zwischen verschiedenen Geräten und Nutzerinnen geteilt werden können
• ARCore Persistent Cloud Anchors (Google): Ähnliches Konzept für Android/ARCore
• ARKit WorldMap (Apple): Lokales Speichern von Raum-Maps auf dem Gerät
• Meta Shared Spatial Anchors: Geteilte Raumanker für kollaborative Quest-Erfahrungen

Umgebungsverständnis (Scene Understanding)

Modernes MR erfordert, dass das Gerät die Umgebung „versteht": Wo ist der Boden? Welche Objekte sind Tische, Sofas, Wände? Diese semantische Raumanalyse ermöglicht:

• Okklusion: Digitale Objekte verschwinden hinter realen Möbeln
• Physikbasierte Interaktion: Virtueller Ball rollt auf realem Boden
• Spatial Awareness: App weiß, wo Türen, Fenster und Möbel sind

Meta Quest 3 und Apple Vision Pro erstellen automatisch ein Raum-Mesh und können Oberflächen semantisch klassifizieren. Diese Daten stehen Entwicklerinnen über entsprechende APIs zur Verfügung.

Hybride Erlebnisse

MR ermöglicht neue hybride Anwendungsformen:

Hybrid-Work: Virtuelle Kollegen erscheinen als Hologramme im eigenen Büro; geteilte digitale Whiteboards über physischen Tischen.

Hybrid-Learning: Schülerinnen und Schüler sehen 3D-Modelle des menschlichen Körpers auf dem Tisch vor sich, können ihn auseinandernehmen und erkunden.

Hybrid-Entertainment: Tischspiele, bei denen physische Spielfiguren durch digitale Animationen ergänzt werden; Rollenspiele, die die eigene Wohnung als Dungeon nutzen.

Hybrid-Production: Architekten platzieren Gebäudemodelle auf realen Grundstücken; Ingenieurinnen überlagern Maschinen mit digitalen Wartungsanweisungen.

Beispiele

• Microsoft HoloLens 2 bei Airbus: Techniker erhalten Schritt-für-Schritt-Anleitungen als holografische Overlays direkt über dem Flugzeug, das sie warten.
• Meta Quest 3 in der Bildung: Schülerinnen und Schüler bauen virtuelle Moleküle auf ihrem echten Schreibtisch auf, während sie gleichzeitig Mitschülerinnen sehen.
• Apple Vision Pro – FaceTime Spatial: Teilnehmerinnen erscheinen als lebensgroße 3D-Avatare in der realen Umgebung der anderen Person.
• Magic Leap 2 in der Medizin: Chirurginnen sehen CT-Scans und Vitalwerte als holografische Overlays, während sie operieren.

In der Praxis

Für Entwicklerinnen und Designerinnen bietet MR neue kreative und technische Herausforderungen:

Development Stack:

• Meta Quest 3: Unity mit Meta XR SDK und Meta Interaction SDK
• HoloLens: Unity oder Unreal mit MRTK (Mixed Reality Toolkit)
• Apple Vision Pro: visionOS mit RealityKit und ARKit

Mehr zu Unity-Entwicklung im Eintrag Unity für VR-Entwicklung: Grundlagen und Unreal im Eintrag Unreal Engine für VR & Visualisierung.

Designüberlegungen:

• Wie verhalte ich mich zu realen Objekten, die sich bewegen (Personen, Hände)?
• Wie kommuniziere ich dem Nutzer, welche Elemente digital und welche real sind?
• Oklusion: Immer wünschenswert oder manchmal bewusst durchbrochen?
• Lighting-Match: Digitale Objekte müssen zur Raumbeleuchtung passen (IBL: Image-Based Lighting)

Vergleich & Abgrenzung

Häufige Fragen (FAQ)

Was ist der Unterschied zwischen AR und MR in der Praxis? AR überlagert die Welt mit digitalen Bildern (wie ein transparenter Aufkleber). MR versteht den Raum und integriert digitale Objekte physikalisch: Sie können hinter einem Tisch verschwinden oder auf dem Boden liegen.

Ist das Apple Vision Pro ein AR- oder VR-Gerät? Beides und keines davon – Apple nennt es einen „Spatial Computer". Es kann sowohl in vollständigem VR-Modus als auch in MR-Passthrough genutzt werden. Der Standard-Modus ist MR.

Wie gut ist die Qualität des Passthrough bei der Meta Quest 3? Gut genug für die meisten Anwendungen, aber noch deutlich schlechter als direkte Sicht. Texte in normaler Entfernung sind lesbar; die Farbgenauigkeit ist zufriedenstellend. Das Vision Pro übertrifft die Quest 3 deutlich.

Verwandte Einträge

• AR, VR, MR, XR: Definitionen & Unterschiede
• Spatial Computing: Apples Vision
• VR-Headsets: Meta Quest, PSVR2, Apple Vision Pro
• Augmented Reality: Markerbasiert vs. markerlos
• UX-Design für VR: Besonderheiten & Prinzipien
• Unity für VR-Entwicklung: Grundlagen
• Presence & Immersion: Was macht VR überzeugend?

Weiterführend

• Milgram, Paul / Kishino, Fumio (1994): A Taxonomy of Mixed Reality Visual Displays. In: IEICE Transactions on Information and Systems, E77-D(12), S. 1321–1329.
• Speicher, Maximilian / Hall, Brian D. / Nebeling, Michael (2019): What is Mixed Reality? In: Proceedings of CHI 2019. ACM, New York.
• Microsoft (2024): Mixed Reality Documentation. docs.microsoft.com/mixed-reality.
• Billinghurst, Mark / Clark, Adrian / Lee, Gun (2015): A Survey of Augmented Reality. In: Foundations and Trends in HCI, 8(2–3), S. 73–272.