Spatial Computing: Apples Vision

Spatial Computing bezeichnet eine Paradigma der Mensch-Computer-Interaktion, bei der digitale Inhalte und Interfaces nahtlos in den dreidimensionalen physischen Raum integriert werden, anstatt auf flachen Bildschirmen zu erscheinen.

Rubrik: Mediendesign & Digitale Medien · Unterrubrik: AR & VR · Niveau: Einsteiger

Was ist Spatial Computing?

Spatial Computing beschreibt die nächste Evolutionsstufe der Computernutzung: Der Bildschirm als physisches Objekt verschwindet; digitale Inhalte existieren stattdessen als räumliche Objekte in der Welt des Nutzers. Apps schweben im Raum, Fenster können an Wänden angeheftet werden, 3D-Objekte stehen auf echten Tischen, und die Interaktion erfolgt durch Blicke, Gesten und Sprache.

Der Begriff wurde von Simon Greenwold in seiner MIT-Masterarbeit (2003) geprägt: „Spatial computing is human interaction with a machine in which the machine retains and manipulates referents to real objects and spaces." Heute wird er vor allem mit Apples Vision Pro (2024) und visionOS assoziiert.

Spatial Computing ist verwandt mit, aber breiter als Mixed Reality. Es umfasst die gesamte Infrastruktur aus Hardware, Betriebssystem, Designparadigmen und Entwicklerökosystem, die räumliche Interaktion ermöglicht. Mehr zu den technischen Grundlagen im Eintrag AR, VR, MR, XR: Definitionen & Unterschiede und Mixed Reality: Passthrough & Hybrid-Erlebnisse.

Erklärung

Das Apple Vision Pro als Spatial Computer

Apple präsentierte das Vision Pro im Juni 2023 und definierte damit eine neue Gerätekategorie. Zentral ist das Konzept: Das Gerät ist kein VR-Headset im Gaming-Sinne, sondern ein Arbeits- und Kreativgerät, das die Grenze zwischen digitalem und physischem Raum aufwebt.

Technische Grundlagen:

• Zwei Micro-OLED-Displays mit insgesamt ca. 23 Megapixeln
• Eye-Tracking für präzise Cursor-Steuerung (der Blick ist der Cursor)
• Hand-Tracking für Gesten-Interaktion (Pinch-Geste als Klick)
• Sprachsteuerung via Siri
• R1-Co-Prozessor für nahezu latenzfreies Video-Passthrough (12 ms)
• EyeSight: Außendisplay zeigt die Augen der Trägerin oder des Trägers

visionOS als Spatial OS: visionOS ist Apples Betriebssystem für Spatial Computing. Die Fenster-Metapher des klassischen Betriebssystems wird dreidimensional: Apps erscheinen als Panels im Raum, können frei positioniert werden und reagieren auf Licht und Schatten der Umgebung (MaterialKit). Das Shareable Window System erlaubt mehrere Apps gleichzeitig im Raum.

SwiftUI und RealityKit: Entwicklerinnen und Entwickler nutzen SwiftUI für 2D-Interface-Elemente und RealityKit für 3D-Objekte und AR-Integration. Das USDZ-Format (Universal Scene Description, entwickelt von Pixar) ist der Standard für 3D-Modelle in visionOS.

Spatial Computing jenseits von Apple

Spatial Computing ist kein Apple-exklusives Konzept. Andere Akteure sind:

Microsoft HoloLens 2: Der Enterprise-Fokus auf industrielle Anwendungen (Remote Maintenance, Training, Chirurgie) macht die HoloLens zum etabliertesten Spatial-Computing-Gerät im Unternehmensbereich.

Meta Horizon OS: Mit der Öffnung des Meta Quest-Betriebssystems für Drittanbieter (2024) positioniert sich Meta als plattformübergreifendes Spatial-Computing-Ökosystem. Asus und Lenovo bauen auf Horizon OS.

Google (Project Iris, Android XR): Google arbeitet an Android XR als Betriebssystem für Spatial-Computing-Geräte, zunächst für Smartphones und später für Brillen.

Qualcomm Snapdragon XR-Plattform: Als Chip-Hersteller ermöglicht Qualcomm Spatial-Computing-Funktionen auf vielen Drittgeräten.

Interaktionsparadigmen im Spatial Computing

Spatial Computing erfordert neue Interaktionsmodelle. Die klassische WIMP-Metapher (Windows, Icons, Menus, Pointer) muss neu gedacht werden:

• Gaze + Commit: Blick als Zeigeinstrument, Geste oder Sprache zum Ausführen
• Hand-Tracking: Direkte Manipulation virtueller Objekte mit den Händen
• Voice: Sprachbefehle für komplexe Aktionen
• Proximity-basierte UI: Interfaces, die sich je nach Entfernung der Nutzerin verändern
• Spatial Anchors: Digitale Inhalte, die persistent an realen Orten verankert werden

Mehr zu UX-Designprinzipien für räumliche Interfaces im Eintrag UX-Design für VR: Besonderheiten & Prinzipien.

Beispiele

• Produktivität: FaceTime-Fenster schwebt neben dem Dokument; mehrere Browser-Tabs füllen die Wand
• 3D-Design: Architekten begehen virtuelle Gebäudeentwürfe in Originalgröße mit dem Vision Pro, bevor der erste Stein gesetzt ist
• Chirurgie: Chirurgen rufen mit der HoloLens Patientendaten und CT-Scans als hologafische Overlays auf
• Retail: AR-Regalbeschilderung in Supermärkten via Spatial-Computing-Brillen für Mitarbeitende
• Entertainment: Immersive 3D-Filmwiedergabe mit dem Apple Vision Pro in 180°-Format

In der Praxis

Für Medienschaffende eröffnet Spatial Computing neue Produktionsformate:

Immersive 3D-Video (Apple Immersive Video): Mit speziellen Stereo-Kamerapaaren (z.B. Sony Venice 2 + spezielle 3D-Linsen) aufgenommene 180°-Videos in extremer Auflösung für das Vision Pro. Apple produziert selbst Showcase-Inhalte; Filmemacherinnen experimentieren mit dem Format.

Spatial Podcasts und Audio: Spatial Audio mit Ambisonics und Dolby Atmos wird zur Standard-Erwartung – mehr im Eintrag Spatial Audio in VR: Ambisonics & Binaural.

visionOS-App-Entwicklung: Xcode, SwiftUI, RealityKit und Reality Composer Pro sind die primären Tools. Der Einstieg ist für iOS-Entwicklerinnen vergleichsweise niedrig.

Vergleich & Abgrenzung

Häufige Fragen (FAQ)

Wird Spatial Computing den normalen Computermonitor ersetzen? Kurzfristig nein. Langfristig sehen Marktforscher wie IDC und Analyst Ming-Chi Kuo AR-Brillen als mögliche Nachfolger des Smartphones – aber der Übergang ist eher graduell über eine Dekade.

Kann ich für visionOS entwickeln ohne ein Vision Pro zu besitzen? Ja. Der visionOS-Simulator in Xcode erlaubt grundlegende Entwicklung und Tests; für fortgeschrittene Sensorik und Passthrough ist das physische Gerät jedoch nötig.

Was kostet die Entwicklung einer visionOS-App? Die reine Entwicklung startet bei Kosten vergleichbar mit iOS-Apps; 3D-Assets und räumliche UX-Designarbeit erhöhen das Budget erheblich.

Verwandte Einträge

• AR, VR, MR, XR: Definitionen & Unterschiede
• Mixed Reality: Passthrough & Hybrid-Erlebnisse
• VR-Headsets: Meta Quest, PSVR2, Apple Vision Pro
• UX-Design für VR: Besonderheiten & Prinzipien
• Metaverse: Design-Grundlagen & Plattformen
• Spatial Audio in VR: Ambisonics & Binaural
• Zukunft von AR/VR: Trends & Technologien

Weiterführend

• Greenwold, Simon (2003): Spatial Computing. MIT Media Lab Master's Thesis. Cambridge, MA.
• Apple Inc. (2024): Introducing visionOS. developer.apple.com.
• Dede, Chris (2009): Immersive Interfaces for Engagement and Learning. In: Science, 323(5910), S. 66–69.
• Robertson, Adi (2024): Apple Vision Pro Review. The Verge. theverge.com.
• Caudell, Tom / Mizell, David (1992): Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes. In: Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences.