Mixed Reality (MR)

Mixed Reality (MR) bezeichnet immersive Erfahrungen, bei denen reale und virtuelle Objekte koexistieren und in Echtzeit miteinander interagieren – virtuelle Inhalte sind dabei räumlich in die physische Welt eingebettet und reagieren auf deren Geometrie.

Rubrik: Animation & VFX · Unterrubrik: VR & AR Gestaltung · Niveau: Fortgeschritten Synonyme / Auch bekannt als: Erweiterte Realität (im weiteren Sinne), Hybrid Reality, Spatial Computing (Apple-Terminologie)

Was ist Mixed Reality?

Mixed Reality ist mehr als AR: Während AR virtuelle Objekte lediglich über das Kamerabild legt (→ Augmented Reality Grundlagen), „versteht" ein MR-System die dreidimensionale Geometrie der realen Umgebung. Ein virtueller Ball fällt auf den echten Tisch, Hologramme verbergen sich hinter realen Wänden, und ein digitaler Roboter navigiert um echte Möbel herum.

Das Konzept geht auf Paul Milgrams Reality-Virtuality Continuum (1994) zurück: einem Spektrum, das von der vollständig realen Welt bis zur vollständig virtuellen VR reicht. Alles dazwischen fällt unter Mixed Reality – sowohl AR als auch VR mit Passthrough-Kameras.

In der Praxis wird der Begriff heute enger verwendet: MR meint typischerweise Optical-See-Through-Headsets wie die Microsoft HoloLens, die Hologramme direkt in das natürliche Sichtfeld projizieren und die Raumgeometrie für physikalische Interaktionen nutzen.

Erklärung

Reality-Virtuality Continuum nach Milgram & Kishino

`` Reale Welt ←—————————————————→ Virtuelle Welt AR MR VR ``

• Augmented Reality: Überwiegend real, wenige virtuelle Ergänzungen
• Augmented Virtuality: Überwiegend virtuell, wenige reale Elemente
• Mixed Reality: Der mittlere Bereich, wo beide Welten gleichwertig interagieren

Technische Grundlagen von MR-Headsets

Spatial Mapping / Scene Understanding MR-Headsets scannen kontinuierlich die Umgebung mit Tiefensensoren (strukturiertes Licht, Time-of-Flight oder Stereo-Kameras) und erstellen ein 3D-Mesh der Umgebung. Dieses Mesh ermöglicht:

• Occlusion: Hologramme verschwinden hinter echten Wänden und Möbeln
• Physics: Virtuelle Objekte reagieren auf reale Oberflächen
• Spatial Anchors: Hologramme bleiben präzise an einem Ort, auch wenn der Nutzer sich entfernt und zurückkommt

Inside-Out Tracking Statt externer Kameras (wie bei frühen VR-Systemen) tracken MR-Headsets ihre Position durch Kameras am Gerät selbst. Die HoloLens 2 nutzt sechs Kameras und einen Tiefensensor für sub-millimeter-genaues Tracking.

Hand- und Augenverfolgung Die HoloLens 2 erkennt Fingergesten nativ, ohne Controller. Eye Tracking in VR-Headsets ermöglicht zusätzlich Interaktion durch Blick. Beides zusammen erlaubt eine intuitive, natürliche Bedienung.

Wichtige MR-Plattformen

Microsoft HoloLens 2 (2019) Das professionelle Standard-Gerät für Enterprise-MR. Optische See-Through-Linsen, Hand-Tracking, Augenverfolgung, Spatial Mapping. Richtet sich an Industrie, Medizin, Militär. Preis: ca. 3.500 €.

Magic Leap 2 (2022) Kompakteres Design als HoloLens, ebenfalls Enterprise-fokussiert. Stärker auf Medizin und Defense ausgerichtet. Bietet höhere Luminanz der Displays für Außeneinsatz.

Apple Vision Pro (2024) Nutzt Passthrough AR (Mixed Reality Passthrough) statt optischer Linsen – Videokameras liefern das Bild der realen Welt, virtuelle Inhalte werden einkomposited. Dies ermöglicht höhere Darstellungsqualität, aber kein echtes optisches See-Through. Apple nennt dies Spatial Computing (Apple Vision Pro).

Meta Quest 3 (2023) Primär als VR-Headset konzipiert, bietet aber hochauflösendes Passthrough und Mixed-Reality-Funktionen. Die günstigste MR-Option für Consumer-Anwendungen.

Beispiele

Industrielle Anwendungen Boeing nutzt HoloLens für die Kabelverlege-Anleitung in Flugzeugen: Techniker sehen schwebende Schrittanleitungen direkt über dem Arbeitsort. Fehlerrate und Arbeitszeit sanken signifikant.

Chirurgieunterstützung Surgeons at Johns Hopkins (2020) nutzten AR/MR-Overlays aus CT-Daten während Wirbelsäulenoperationen – virtuelle Knochen- und Gefäßbilder lagen direkt über dem Patienten.

Architekturvisualisierung Architekten können 1:1-Hologramme von Gebäudeplänen im Baugelände begehen, bevor auch nur ein Stein gesetzt wurde (→ VR in der Architekturvisualisierung).

Remote Assistance Microsoft Dynamics 365 Remote Assist ermöglicht es Experten, Hologramme in das Sichtfeld eines Technikers im Feld zu zeichnen – weltweite Kollaboration in Echtzeit.

In der Praxis

Für MR-Entwicklung auf HoloLens ist das Mixed Reality Toolkit (MRTK) von Microsoft die Standard-Bibliothek. Es läuft in Unity und bietet vorgefertigte Komponenten für Hand-Tracking, Gaze-Interaktion, Spatial Mapping und UI-Elemente, die für Hologramm-Interfaces optimiert sind.

Workflow:

1. Unity + MRTK installieren
2. HoloLens in den Developer Mode schalten
3. Szene mit Spatial Awareness Layer aufbauen
4. Hand-Interaktionen über MRTK-Prefabs hinzufügen
5. Deployment über Visual Studio auf die HoloLens

Für Apple Vision Pro entwickelt man in Xcode mit dem RealityKit-Framework und dem visionOS SDK. Apple nutzt SwiftUI für 2D-Fenster und Reality Composer Pro für räumliche 3D-Inhalte.

Vergleich & Abgrenzung

Häufige Fragen (FAQ)

Ist Apple Vision Pro AR oder MR? Offiziell verwendet Apple den Begriff „Spatial Computing (Apple Vision Pro)". Technisch ist es Video-See-Through-MR: Kamerabilder der realen Welt werden mit virtuellen Inhalten gemischt. Die Raumgeometrie wird verstanden und für Occlusion und Physik genutzt.

Warum kosten MR-Headsets so viel mehr als VR-Headsets? MR-Headsets benötigen hochpräzise Tiefensensoren, optische Linsentechnologie (bei See-Through-Geräten) und wesentlich aufwändigere Tracking-Algorithmen. Diese Komponenten sind teuer in Herstellung und Kalibrierung.

Kann man MR-Apps für mehrere Headsets gleichzeitig entwickeln? Unity mit MRTK und dem OpenXR-Standard ermöglicht eine weitgehende plattformübergreifende Entwicklung. Apple visionOS hingegen erfordert separates Development.

Verwandte Einträge

• Augmented Reality Grundlagen – AR als einfachere Vorstufe zu MR
• Virtual Reality Grundlagen – VR als vollständige virtuelle Welt
• Extended Reality (XR) – MR als Teil des XR-Spektrums
• Spatial Computing (Apple Vision Pro) – Apples Vision von räumlichem Computing
• Passthrough AR (Mixed Reality Passthrough) – Video-basierte MR in VR-Headsets
• Eye Tracking in VR-Headsets – Augenverfolgung als MR-Interaktionsmodal
• VR-Headsets im Vergleich – Headset-Übersicht inkl. MR-Geräte

Weiterführend

• Milgram, P. & Kishino, F. (1994). A Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information Systems, E77-D(12), 1321–1329.
• Microsoft HoloLens Dokumentation: docs.microsoft.com/mixed-reality
• Mixed Reality Toolkit (MRTK): github.com/microsoft/MixedRealityToolkit-Unity
• Apple visionOS Developer Guide: developer.apple.com/visionos
• Speicher, M. et al. (2019). What is Mixed Reality? CHI Conference on Human Factors in Computing Systems, Paper 537.