Immersive Technologien: Ihr Aufbau, Risiken und regulatorische Herausforderungen

Immersive Technologien sind eine aufstrebende Kategorie von Innovationen, die darauf abzielen, die menschliche Wahrnehmung der physischen Umgebung zu vermitteln oder zu erweitern. Obwohl viele dieser Technologien ursprünglich für spezifische Anwendungen wie Gaming oder soziale Interaktion entwickelt wurden, finden sie heute in einer Vielzahl von Sektoren Anwendung – von der medizinischen Behandlung bis zum beruflichen Training. Trotz eines jüngsten Rückgangs des Investitionsinteresses und der mäßigen Performance einiger Produkte, wie der Apple Vision Pro, schreitet die technische Fähigkeit dieser Technologien, virtuelle Umgebungen zu simulieren oder visuelle und auditive Informationen über die physische Welt zu legen, stetig voran.

Mit ihrer Weiterentwicklung nutzen immersive Technologien immer anspruchsvollere Hardware, die wiederum eine größere Menge an Daten von Nutzern und deren Umgebung sammelt. Dazu gehören Kopf- und Handbewegungen, Scans der physischen Umgebung einer Person und Herzfrequenzvariabilität. Die Erfassung dieser Daten trägt dazu bei, Nutzern ein immersiveres Erlebnis in virtuellen oder erweiterten Umgebungen zu ermöglichen. Gleichzeitig birgt sie jedoch eine Reihe potenzieller Risiken und Gefahren im Zusammenhang mit dem Datenlebenszyklus dieser Systeme.

Da diese Technologien in unterschiedlichen Kontexten eingesetzt werden können, müssen Regulierungsbehörden möglicherweise bestehende Richtlinien anwenden oder neue Regelungen entwickeln, um diesen Risiken zu begegnen – sei es in der Medizintechnikregulierung, im Arbeitsrecht oder in der Online-Sicherheitsregulierung. Eine effektive Governance dieser Systeme erfordert ein gemeinsames Verständnis ihrer Fähigkeiten, technischen Komponenten und ihres Datenlebenszyklus. Dieser Artikel beschreibt die wesentlichen Begriffe und Konzepte sowie die Arten von Daten, Software und Hardware, die zum Einsatz kommen, um diesem Bedarf gerecht zu werden und ein solches Verständnis zu schaffen. Er basiert auf einer umfassenden Literaturrecherche und zahlreichen Experteninterviews mit Forschenden, Entwicklern, Investoren und Praktikern, die verschiedene Arten von immersiven Technologien in Deutschland, Europa und den USA nutzen, entwickeln und einsetzen. Ein gemeinsames Verständnis dieser immersiven Technologien wird politischen Entscheidungsträgern und Regulierungsbehörden helfen, ihre Möglichkeiten und Risiken besser zu erfassen und fundiertere sowie effektivere politische Entscheidungen in diesem Bereich zu treffen.

Wichtige Erkenntnisse:

• Die Definition von immersiven Technologien wird durch mangelnde Konsistenz im Fachbereich erschwert. Eine Vielzahl von Begriffen – wie Spatial Computing, Extended Reality (XR) und das Metaverse – wird verwendet, um Technologien derselben weit gefassten Kategorie zu beschreiben. Zusätzlich erschwert die fehlende klare Definition, was eine Technologie „immersiv“ macht, die Kategorisierung. Einige Interviewpartner betonten, dass Immersion von der Wahrnehmung der Umgebung durch den Nutzer abhängt, während andere argumentierten, sie werde durch die technischen Fähigkeiten eines Geräts und dessen realistische Simulation von Nutzerinteraktionen mit einer Umgebung bestimmt.
• Wir identifizieren vier Arten von immersiven Technologien: Augmented Reality (AR), Mixed Reality (MR), Virtual Reality (VR) und Immersive Virtuelle Welten (IVW) – wobei die beiden letzteren eng miteinander verwandt sind. Einige Begriffe, wie AR und VR, scheinen von den Interviewpartnern konsistent definiert zu werden, während andere, wie MR und IVWs, deutlich umstrittener waren.
• Trotz ihrer Unterschiede teilen immersive Technologien oft viele Hardware- und Softwareelemente wie Kameras, Bewegungssensoren, visuelle Anzeigegeräte und Rendering-Engines. Dies kann jedoch je nach Anwendungsfall erheblich variieren.
• Je nach Komplexität und Einsatz von Wearables können immersive Technologien erheblich mehr Daten sammeln als herkömmliche Geräte wie Laptops oder Smartphones, einschließlich physiologischer Daten, Umweltdaten, Positionsdaten und Benutzerprofildaten.
• Interviewpartner bemerkten, dass einige dieser Daten für die Funktionsweise dieser Systeme unerlässlich sind, insbesondere für Funktionen wie die Bewegungen von Avataren. Sie stellten jedoch die Notwendigkeit infrage, dass Unternehmen diese Daten sammeln und speichern. Die große Menge an Daten, die diese Geräte sammeln können, zusammen mit den ständig steigenden Datenmengen, die für die Nutzung dieser Geräte erforderlich sind, macht dieses Element der immersiven Technologien zu einem vorrangigen Anliegen. Dieses Problem wird durch mangelnde Transparenz bei der Datenerfassung und -verarbeitung vieler Unternehmen verschärft, einschließlich der Frage, wie durch immersive Technologien gesammelte Daten für andere Zwecke verwendet werden können. Diese Elemente deuten auf potenzielle Regulierungslücken hin.
• Die durch immersive Technologieprodukte gesammelten Daten können folglich für die Nutzerprofilerstellung und die personalisierte Bereitstellung von Inhalten verwendet werden. Gespeicherte Daten können in einigen Fällen auch für Zwecke außerhalb ihrer direkten beabsichtigten Nutzung eingesetzt werden, beispielsweise für das Training von KI-Modellen. Die Speicherung und Wiederverwendung von Daten wirft signifikante Fragen bezüglich Datenschutz, Transparenz, Benutzerautonomie und Privatsphäre auf.

Dieser einführende Artikel wird durch weitere Publikationen des Ada Lovelace Institute ergänzt – ein Diskussionspapier und ein Folgenabschätzungsbericht. Das Diskussionspapier wird soziale Faktoren im Zusammenhang mit der Entwicklung und Einführung von immersiven Technologien untersuchen und Einblicke in den Zeitplan und den aktuellen Stand der immersiven Technologieprodukte geben, einschließlich wichtiger Akteure, Branchen und Anwendungsfälle. Der Folgenabschätzungsbericht wird eine detaillierte Bewertung der Auswirkungen (Risiken und Vorteile) dieser Technologien liefern, gestützt auf Interviews, eine Literaturrecherche und moderierte Workshops. Dieser Bericht wird Diskussionen über die Auswirkungen dieser Technologien anhand von zwei Anwendungsfällen untermauern – immersive soziale Welten und der Einsatz von Augmented-Reality-Technologien durch Lagerarbeiter. Der Abschlussbericht wird politische Empfehlungen für die Gesetzgeber und Regulierungsbehörden in Großbritannien enthalten, wie diese Systeme reguliert werden könnten.

Einleitung: Die Grenzen zwischen Realität und Virtualität verschwimmen

Viele Menschen nutzen Technologie zur Kommunikation, zum Lernen, Arbeiten, Einkaufen und zur Unterhaltung. Wir leben in einer Welt, in der unsere täglichen Interaktionen zunehmend durch Technologien vermittelt werden, die Informationen kuratieren, empfehlen und synthetisieren. Während diese Vermittlung größtenteils durch digitale Geräte wie Smartphones oder Laptops erfolgt, versuchen Entwickler einer bestimmten Technologieart – der immersiven Technologien – die Grenzen zwischen der physischen und der digitalen Welt weiter zu verwischen.

Immersive Technologie ist ein breiter Oberbegriff für interaktive Technologien wie Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR) und Immersive Virtuelle Welten (IVW). Obwohl sich jede dieser Technologien in entscheidenden Punkten unterscheidet, teilen sie ein gemeinsames Ziel: ein immersives und interaktives Erlebnis für den Nutzer zu schaffen. Große Technologieunternehmen wie Meta und Apple haben erhebliche Investitionen in diese Technologien getätigt. Laut diesen Unternehmen versprechen immersive Technologien, die Art und Weise, wie wir arbeiten, lernen, soziale Kontakte pflegen und uns unterhalten, zu revolutionieren. Doch wie bei der Einführung anderer Technologien in unserem Leben bringt dies Herausforderungen und Chancen mit sich, die von Politikern, Technologen und der Gesellschaft sorgfältig abgewogen werden müssen.

Für viele Menschen sind immersive Technologien am stärksten mit Gaming und immersiven virtuellen Welten, manchmal als „Metaverse“ bezeichnet, verbunden. Die Umbenennung des Unternehmens Facebook in Meta im Jahr 2021 (das seine Apps und Technologien unter einer Marke zusammenfasste) katapultierte den Begriff „Metaverse“ aus Science-Fiction-Romanen in den Alltagswortschatz. In den ersten zwei Jahren von Meta stiegen die Investitionen des Privatsektors in immersive virtuelle Welten stark an.

Trotz anfänglicher Investitionen gab es eine relativ geringe Verbreitung immersiver virtueller Welten. Im Jahr 2023 schlossen oder verkleinerten mehrere Unternehmen wie Microsoft, Disney und Walmart ihre Metaverse-Teams und -Produkte. Selbst Meta-Beamte wie Chief Technology Officer Andrew Bosworth gaben zu, dass die Führungsebene von Meta mehr Zeit für KI als für das Metaverse aufwandte. Zum größten Teil haben Entwickler und Investoren stattdessen ihre Aufmerksamkeit auf grundlegende Modelle und generative KI gerichtet, von denen viele glauben, dass sie ein größeres Potenzial für eine breitere Palette von Geschäfts- und Verbraucheranwendungen versprechen. Jenseits immersiver virtueller Welten wurden jedoch auch andere immersive Technologien weiterentwickelt und in Geschäfts- und Verbraucherkontexte integriert, wie die Einführung der Apple Vision Pro im Februar 2024 und Metas Ankündigung der Orion AR-Brille im September 2024 zeigen. Trotz dieses relativen Nachlassens des anfänglichen Interesses bleiben die Investitionen beträchtlich.

Die Risiken von immersiven Technologien können auf vielfältige Weise entstehen – von der Funktionsweise dieser Technologien bis hin zu sozialen Faktoren wie der Dynamik zwischen den Entwicklern, dem Adoptionskontext und den interagierenden Personen. Die Schwere und Wahrscheinlichkeit der Risiken dieser Technologien hängt davon ab, wie sie entwickelt und betrieben werden, welchem Zweck sie dienen, in welchen Kontexten sie eingesetzt werden und welche Art von Menschen betroffen sein könnten.

Dieser Artikel versucht, den ersten dieser Punkte zu beleuchten: Wie sind diese Technologien aufgebaut und wie funktionieren sie? Diese Kontexte sind besonders wichtig für Politiker und Regulierungsbehörden, da eine oberflächliche Betrachtung dieser Technologien zeigt, dass sie eine breite Palette regulierungsrelevanter Bereiche betreffen können.

Ein Bereich ist der Datenschutz. Auf technischer Ebene funktionieren immersive Technologien durch einen Prozess der Datenerstellung und -verarbeitung, der oft spezialisierte Hardwareprodukte beinhaltet, die eine wesentlich höhere Datenmenge als Geräte wie Smartphones und Laptops sammeln, einschließlich einer Vielzahl sensibler Daten. Dies schafft erhebliche Datenschutzrisiken, die Entwickler navigieren müssen, was durch mangelnde Transparenz bei der Datenerfassung und -verarbeitung in immersiven Technologieprodukten und der Möglichkeit, Daten für andere Zwecke zu verwenden, noch verschärft werden kann.

Ein weiterer Bereich sind algorithmische Schäden, wie z.B. KI-gestützte Diskriminierung. Immersive Technologien nutzen eine Reihe von KI-Algorithmen zur Datenverarbeitung, die unter bestehende Leitlinien oder Regulierungen zu KI von sektoralen Regulierungsbehörden fallen könnten. Je nach Anwendungsfall und Kontext könnten einige immersive Technologien unter den Anwendungsbereich des EU AI Act fallen. Beispiele für diese Risiken sind Algorithmen in immersiven Technologieprodukten, die Voreingenommenheit und Diskriminierung aufrechterhalten haben, wie Algorithmen in VR-Anwendungen zur Bewertung von Personen. Ein weiteres Beispiel sind Nutzerprofilierungsalgorithmen zur Bereitstellung personalisierter Inhalte, die Bedenken hinsichtlich der Nutzerautonomie aufwerfen können.

Regulierungsbehörden müssen auch berücksichtigen, welche Arten von Nutzern betroffen sein können und in welchen Kontexten und Funktionen diese Technologien eingesetzt werden. Immersive Technologien werden derzeit für Verbraucher- und Geschäftszwecke in einer Vielzahl von Hochrisiko- und Sicherheitsbereichen eingesetzt, darunter im Gesundheitswesen und in der Bildung. Einige dieser Anwendungen richten sich an besonders vulnerable Gruppen wie Kinder oder Menschen mit gesundheitlichen Problemen. Der hohe Einfluss dieser Kontexte und der vulnerable Status einiger der Hauptnutzer dieser Technologien können die Schwere potenzieller Schäden verschärfen. Dies kann den Gebrauch von Headsets umfassen, der zu physischen Unfällen führen kann, welche in Gesundheitseinrichtungen besonders gefährlich sein können, oder Online-Schäden wie Belästigung und Missbrauch, die sich gegen Kinder richten können.

Verbraucherprodukte wie Online-Gaming oder immersive virtuelle Welten haben signifikante Überschneidungen mit sozialen Medien und fallen unter den Anwendungsbereich entsprechender Gesetzgebung zum Online-Schutz und Verbraucherschutz. Einige Produkte fallen möglicherweise unter bestehende Regulierung. Gesundheits- oder Wellnessgeräte könnten zum Beispiel unter die Medizingeräteregulierung fallen.

Ein Problem für die Governance von immersiven Technologien ist das Fehlen eines gemeinsamen Vokabulars oder Verständnisses dafür, was diese Technologien sind, wie sie funktionieren, welche Arten von Daten sie sammeln und welche technischen Komponenten sie verwenden. Durch ein gemeinsames Verständnis der Funktionsweise dieser Technologien können politische Entscheidungsträger und Regulierungsbehörden besser beurteilen, wie immersive Technologien in verschiedenen Sektoren eingesetzt werden können und welche Arten von Problemen sie aufwerfen könnten.

Um dies zu verdeutlichen, lassen Sie uns einige der wichtigsten Begriffe klären:

Glossar der zentralen Begriffe:

• Algorithmus: Eine Reihe von Anweisungen, wie ein Computersystem eine Aufgabe ausführen oder ein Problem lösen kann, indem es Eingaben auf Ausgaben abbildet.
• Augmented Reality (AR): Die Nutzung von Geräten (wie Smartphones oder Smart Glasses) zur „Erweiterung“ der Wahrnehmung und Interaktion eines Benutzers mit der physischen Welt (z. B. Verwendung von Smart Glasses zur Anzeige von Informationen an einen Lagerarbeiter über das Regal, in dem sich eine Sendung befindet).
• Avatar: Eine aktive virtuelle Darstellung eines Benutzers in einer virtuellen Welt, bei der der Benutzer den Avatar über Geräte, Sensoren und Controller steuern kann, um sich in der virtuellen Welt zu bewegen.
• Blockchain: Eine Art von Datenbank oder digitalem „Ledger“, die Daten dezentral speichert.
• CAVE-Systeme: Cave Automatic Virtual Environment (CAVE)-Systeme sind Räume, die Bildschirme und Projektionen in einer raumähnlichen Umgebung nutzen, um ein immersives Erlebnis zu schaffen. Benutzer können über 3D-Brillen mit der virtuellen Umgebung interagieren, während sie von Raumsensoren verfolgt werden.
• Cloud Computing: Eine Methode zur Nutzung von Computerressourcen (wie Datenverarbeitung oder -speicherung), die remote über das Internet gehostet werden.
• Cross-Reality: Die Nutzung von Anwendungen und Geräten, die es Benutzern ermöglichen, zwischen der Interaktion in der physischen und virtuellen Welt zu wechseln.
• Digital Identity: Eine digitale Darstellung von Informationen über eine Person oder Organisation, die es ihnen ermöglicht, ihre Identität zu beweisen.
• Digitale Zwillinge: Ein digitales Modell, das ein physisches Objekt oder System simuliert.
• Elektromyographie (EMG)-Sensoren: Sensoren, die die elektrische Aktivität im Muskelgewebe erkennen, um beabsichtigte Bewegungen zu verstehen. Diese wurden in Handgelenk-Wearables getestet, um eine bessere Kontrolle in virtuellen Umgebungen zu ermöglichen.
• Extended Reality (XR): Ein Oberbegriff, der die Gruppe der aufstrebenden Technologien wie Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR) und Immersive Virtuelle Welten (IVW) beschreibt.
• Gesichtserkennungstechnologie (FRT): Die Nutzung von Technologie zur Erkennung eines Gesichts und zur Identifizierung einer Person basierend auf einer bestehenden Datenbank in Echtzeit durch Analyse von Gesichtern in Live-Videos, wie bei der Live-Gesichtserkennung (LFR).
• Haptische Technologien: Geräte, die auf Berührung reagieren, diese erkennen oder simulieren. Beispiele sind Touchscreens, vibrierende Game-Controller, haptische Handschuhe und haptische Westen.
• Headset oder Head-Mounted Display (HMD): Geräte, die auf dem Kopf getragen werden und virtuelle Inhalte anzeigen sowie Daten vom Benutzer sammeln (wie Kopfposition oder Blickverfolgung). Beispiele sind VR-Headsets oder Smart Glasses.
• Holographie: Eine Technik, die Licht verwendet, um ein dreidimensionales Bild zu erzeugen.
• Immersive Technologien: Ein Begriff, der eine Gruppe von Technologien beschreibt, die darauf abzielen, ein immersives Erlebnis zu schaffen. Dies umfasst typischerweise aufstrebende Technologien wie Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR) und Immersive Virtuelle Welten (IVW).
• Immersive Virtuelle Welten (IVWs)/Metaversen: Eine virtuelle Umgebung, in der Benutzer mit anderen Benutzern, virtuellen Objekten und der virtuellen Umgebung interagieren können.
• Mixed Reality (MR): Eine immersive Technologie, die sowohl VR als auch AR im selben Gerät kombiniert und Teile der virtuellen und physischen Welt mischt.
• Bewegungssensoren: Geräte, die verfolgen, wie sich der Körper eines Benutzers bewegt. Zum Beispiel an Handgelenken getragene Bewegungssensor-Tags.
• Neurotechnologien: Geräte, die mit dem Nervensystem einer Person interagieren. Zum Beispiel neuronale Implantate und EEG (Elektroenzephalographie)-Headsets.
• NFTs (Non-Fungible Tokens): Eine einzigartige digitale Kennung, die auf einer Blockchain aufgezeichnet wird, um den Besitz eines digitalen Assets zu zertifizieren, das gehandelt werden kann.
• Betriebssysteme: Ein System, das die Hardware- und Softwareressourcen eines Computersystems verwaltet.
• Pass-Through: Eine Funktion einiger Headsets, bei der Kameras an der Vorderseite eines Geräts die physische Welt aufzeichnen und diese gleichzeitig einem Benutzer anzeigen, sodass es scheint, als würde er durch den Bildschirm schauen.
• Plattform: In diesem Artikel wird „Plattform“ verwendet, um ein Online-System zu beschreiben, das die Umgebung und Tools für die Entwicklung und Verwaltung immersiver Technologieanwendungen sowie für die Interaktion von Benutzern mit diesen Anwendungen bereitstellt.
• Rendering: Eine Softwarefunktion, die eine visuelle Szene aktualisiert, sodass der Benutzer das Gefühl hat, in Echtzeit mit der Umgebung zu interagieren, und Bewegungen in einer virtuellen Welt natürlicher erscheinen lässt.
• Szenen-/Objektgenerierung: Software, die virtuelle visuelle Darstellungen von Umgebungen und Objekten für die Interaktion der Benutzer generiert.
• Szenen-/Objekterkennung: Software, die die Umgebung eines Benutzers erkennt und Objekte identifiziert, die ein Benutzer sehen kann.
• Smart Glasses: Auf dem Kopf getragene Geräte, die normalerweise wie Brillen getragen werden und Sensoren und Benutzereingaben verwenden, um weitere Funktionen für den Benutzer auszuführen, wie z. B. das Aufzeichnen von Informationen. Dies können AR-Geräte sein, aber nicht alle Smart Glasses verfügen über eine digitale AR-Schicht (z. B. Ray-Ban Meta Smart Glasses).
• Ton-/Spracherkennung: Software, die Ton oder Sprache analysiert und erkennt, einschließlich der Stimme eines Benutzers.
• Ton-/Sprachsynthese: Software, die Audio- und Sprachinhalte generiert.
• Spatial Computing: Beschreibt eine neue Art der Mensch-Computer-Interaktion, bei der ein Computer in Echtzeit auf die Aktionen und die Umgebung eines Benutzers reagiert. Es wird manchmal als Oberbegriff anstelle von immersiven Technologien und XR verwendet, aber nicht so häufig.
• Virtual Reality (VR): Eine computergenerierte 3D-Virtualumgebung, mit der ein Benutzer über Geräte (typischerweise ein Headset) interagiert und die sein Bewusstsein für die physische Welt reduziert.
• Virtuelle Welt: Geteilte und simulierte digitale Räume, die von Avataren bewohnt, gestaltet und genutzt werden.
• Virtualitäts-Realitäts-Spektrum: Ein Spektrum zur Beschreibung des Grades der Immersion verschiedener immersiver Technologien.
• Wearable Technologies: Vom Benutzer getragene Geräte und Sensoren, die zur Schaffung eines immersiven Erlebnisses verwendet werden können.

Was sind immersive Technologien?

Immersive Technologien sind eine Gruppe von aufstrebenden Technologien, die alle ein gemeinsames Ziel verfolgen: ein Erlebnis für Benutzer zu schaffen, das ihre Wahrnehmung ihrer physischen Umgebung vermittelt. Für die Zwecke dieses Artikels konzentrieren wir uns auf vier Arten von immersiven Technologien: Augmented Reality (AR), Mixed Reality (MR), Virtual Reality (VR) und Immersive Virtuelle Welten (IVW). Diese Technologien unterscheiden sich in vielerlei Hinsicht, weisen aber breite Ähnlichkeiten in ihrer Funktionsweise und den enthaltenen Komponenten auf. Typischerweise verwenden sie:

• Eine Hardwareschnittstelle (wie Headsets und Tablets), die Eingabegeräte (Sensoren) zur Datenerfassung vom Benutzer und/oder der physischen Umgebung sowie Ausgabegeräte (wie visuelle Displays) zur Bereitstellung von Inhalten für Benutzer umfasst.
• Rechenleistung, beispielsweise von Smartphones, Headsets oder IT-Infrastruktur.
• Software, wie Echtzeit-Verarbeitungsalgorithmen zur Generierung von Inhalten, die ein immersives Erlebnis für den Benutzer schaffen.

Im Großen und Ganzen nutzen alle immersiven Technologien Eingabegeräte zur Datenerfassung, Software zur Datenverarbeitung und Inhaltserzeugung sowie Ausgabegeräte zur Bereitstellung von Inhalten für die Benutzer. Verschiedene Arten von immersiven Technologien basieren auf unterschiedlichen Arten von Hardware und Software. Diese Technologien können auch verschiedene Arten von Daten erfassen, wie biometrische Daten und Umweltdaten.

Warum ist es schwierig, immersive Technologien zu definieren?

Eine Herausforderung bei der Definition von immersiven Technologien besteht darin, dass Unternehmen und Forscher unterschiedliche Begriffe verwenden, um dieselbe breite Gruppe von Technologien zu beschreiben. Dazu gehören Oberbegriffe wie Extended Reality (XR) und Spatial Computing.

Viele Interviewpartner kritisierten den Mangel an standardisierter Sprache, der zu Verwirrung und Frustration führen kann: „Die Sprache in diesem Bereich ändert sich ständig. Es war immersiv, dann VR oder XR, jetzt verwendet Apple Spatial Computing […], es ist immer mühsam und die Sprache ändert sich sehr oft.“ Dies kann Menschen irreführen, zu glauben, dass diese Begriffe sich auf verschiedene Technologien beziehen, obwohl sie oft verwendet werden, um dieselbe Gruppe von Technologien zu bezeichnen.

Es kann auch eine Herausforderung sein, zu definieren, was eine immersive Technologie ausmacht, da es in der akademischen Literatur und unter Entwicklern Meinungsverschiedenheiten darüber gibt, was eine Technologie als „immersiv“ qualifiziert. Einige Praktiker konzentrieren sich auf die Auswirkungen, die eine Technologie oder eine Reihe von Technologien auf die Wahrnehmung der Umgebung durch den Benutzer hat. Nach dieser Ansicht sind Technologien immersiv, wenn ihre Nutzung zu einem Gefühl der Präsenz in einer anderen Umgebung als der eigenen physischen Umgebung führt. Dies könnte durch Headsets geschehen, die beeinflussen, was ein Benutzer wahrnimmt, oder durch die Schaffung immersiver Räume (wie CAVE-Systeme). Für mehrere Interviewpartner war die Benutzererfahrung der Schlüssel zur Definition, ob eine Technologie immersiv ist – auch wenn sie anerkannten, dass dieser Ansatz vage sein kann. Ein Interviewpartner erklärte: „Immersiv ist ein etwas schwieriges Wort […], im Allgemeinen ist das Bestreben, ein Erlebnis zu schaffen, bei dem man Menschen in ‚Flow-Zustände‘ versetzen kann, in denen sie emotional in etwas involviert sind.“ Einige Teilnehmer verglichen dies mit dem Lesen eines Buches, was für einen Leser ein immersives Erlebnis sein kann.

Andere Interviewpartner widersprachen jedoch diesem Vergleich und schlugen vor, dass immersive Technologien den Körper zwar dazu bringen können, etwas zu fühlen, was nicht da ist, ein immersives Buch aber nicht dasselbe Gefühl erzeugen wird. Diese Meinungsverschiedenheit verdeutlicht, wie „Immersion“ ein umstrittenes Konzept mit unterschiedlichen Bedeutungen ist, was es schwierig macht, zu entscheiden, ob eine Technologie aufgrund der Benutzererfahrung qualifiziert ist.

Andere Praktiker konzentrieren sich stattdessen auf die technischen Merkmale einer Technologie, wenn sie diese als immersiv qualifizieren. Einige Interviewpartner konzentrierten sich beispielsweise auf die Echtzeitverarbeitung als Merkmal von immersiven Technologien, bei der Daten verarbeitet und immersive Inhalte gleichzeitig gerendert werden, während eine Person eine Technologie nutzt. Einige Interviewpartner diskutierten auch, was Technologien mehr oder weniger immersiv macht, in Bezug darauf, wie gut sie in der Lage sind, die Interaktion des Benutzers mit einer Umgebung in der physischen Welt realistisch zu simulieren. Jemand mit dieser Perspektive könnte beispielsweise sagen, dass das Ansehen eines Films mit einem VR-Headset immersiver ist als das Ansehen mit einer 3D-Brille, da Ersteres die Erfahrung eines Benutzers, in einer Filmszene zu sein, besser simulieren kann.

Die Interviewpartner konnten keinen klaren Konsens über die Definition der einzigartigen Merkmale von immersiven Technologien erzielen. Es zeichneten sich jedoch zwei wichtige Themen ab. Erstens: immersive Technologien sind bestrebt, ein immersives Erlebnis für den Benutzer zu schaffen, auch wenn dies nicht immer vollständig erreicht wird. Zweitens: Die Fähigkeit dazu hängt von den verschiedenen technischen Möglichkeiten eines Systems ab, einschließlich der Sammlung von Benutzerdaten durch Sensoren und der Echtzeitverarbeitung, um ein nahtloses immersives Benutzererlebnis zu schaffen.

Die verschiedenen Arten von immersiven Technologien

In diesem Artikel konzentrieren wir uns auf und unterscheiden zwischen vier Arten von immersiven Technologien:

1. Augmented Reality (AR)
2. Mixed Reality (MR)
3. Virtual Reality (VR)
4. Immersive Virtuelle Welten (IVW).

Wir untersuchen, wie jede dieser Technologien funktioniert und ihren Datenlebenszyklus – welche Arten von Daten sie sammeln, wie Daten verarbeitet und wie sie wiederverwendet und gespeichert werden können – als Grundlage für das Verständnis der potenziellen Risiken und Auswirkungen, die sich aus der Funktionsweise von immersiven Technologien ergeben. Die Unterschiede zwischen diesen Technologien wurden von Interviewpartnern und in der akademischen Literatur oft als basierend auf einem Spektrum beschrieben, wie sehr der Benutzer das Bewusstsein für die physische Welt verliert, dem sogenannten „Virtualitäts-Realitäts-Spektrum“.

Ein Interviewpartner mahnte, dass die Sprache, die bei der Diskussion von immersiven Technologien verwendet wird, nicht davon ausgehen sollte, dass virtuelle Erfahrungen nicht real sind, da dies die tatsächlichen Schäden, die in virtuellen Welten auftreten, wie z. B. Belästigung, herabmindern kann. Um dies widerzuspiegeln, kontrastieren wir in diesem Artikel die virtuelle Welt mit der physischen Welt, anstatt die physische Welt als die „reale Welt“ zu beschreiben.

Was ist Augmented Reality (AR)?

Bei Augmented Reality (AR) verändert oder „erweitert“ ein Benutzer seine Wahrnehmung und Interaktion mit der physischen Welt durch ein Gerät. Auf dem Virtualitäts-Realitäts-Spektrum ist AR der physischen Umgebung am nächsten, da Benutzer mehr Kontakt zur physischen Welt behalten als bei den anderen in diesem Artikel untersuchten Technologien. Wenn ein Benutzer beispielsweise ein AR-Headset trägt, kann er immer noch direkt durch in die physische Welt sehen, oder wenn er ein Tablet oder Telefon verwendet, ist seine Sicht nicht auf das beschränkt, was er auf dem Bildschirm sehen kann.

Die Verbindung zur physischen Welt widerspiegelnd, beschrieben mehrere Interviewpartner AR als das Überlagern digitaler Informationen oder das Hinzufügen einer „digitalen Schicht“ zur physischen Welt. Interviewpartner gaben mehrere Beispiele dafür, wie diese digitale Schicht durch Smartphone-Apps (wie Pokémon Go, Google Lens, Instagram- oder Snapchat-Filter) oder durch spezielle Geräte wie AR-Smart Glasses hinzugefügt werden könnte.

Was die Hardware betrifft, ist AR weniger stark mit Headsets verbunden als andere immersive Technologien, wobei einige Interviewpartner AR als weitgehend auf Geräte wie Tablets und Smartphones angewiesen beschrieben. Smart Glasses können ebenfalls für AR verwendet werden. Einige Smart Glasses bieten eine visuelle Überlagerung, wie die Viture Pro XR, während andere eine auditive Überlagerung liefern, wie die Ray-Ban Meta Smart Glasses. Letztere bietet ein immersives Erlebnis, obwohl sie keine visuelle Überlagerung bietet, da sie Eingabegeräte und Software zum Sammeln und Verarbeiten von Daten sowie Ausgabegeräte zum Bereitstellen von Inhalten verwendet, die das auditive Erlebnis des Benutzers in seiner physischen Umgebung verändern. Zum Beispiel können Personen die eingebaute Kamera der Brille (Eingabegerät) und den persönlichen Assistenten (Software) verwenden, um Fragen zu Objekten in ihrer Umgebung zu stellen.

Einige Interviewpartner bemerkten, dass QR-Codes, eine Art Barcode, der typischerweise von einem Smartphone „gelesen“ werden kann, um eine Verbindung zu Websites herzustellen, häufig als Methode für den Zugang zu AR-Erlebnissen verwendet werden. Zum Beispiel haben Supermärkte oder Einzelhändler wie Nike QR-Codes in Geschäften verwendet, um AR-Erlebnisse zu ermöglichen, bei denen Benutzer Kleidung virtuell auf ihrem Telefon „anprobieren“ können. Dies unterstreicht die häufige Verwendung von AR als Werkzeug zur Interaktion mit digitalen Inhalten und zum Zugriff auf Informationen über die physische Welt, wobei Teilnehmer andere Fälle hervorhoben, wie die Verwendung von QR-Codes zum Zugriff auf virtuelle AR-Führer zur Navigation in Städten.

Was ist Mixed Reality (MR)?

Mixed Reality (MR) ist eine immersive Technologie, die es Benutzern ermöglicht, mit Elementen der virtuellen und physischen Welt zu interagieren. Auf dem Virtualitäts-Realitäts-Spektrum liegt MR zwischen AR und VR und mischt virtuelle Inhalte mit der Verbindung zur physischen Welt. MR ermöglicht dem Benutzer die gleichzeitige Interaktion mit der physischen und virtuellen Welt durch den Einsatz von Headsets. Dies wird erreicht, indem Aspekte von VR und AR im selben Gerät kombiniert werden. Während die für MR verwendete Hardware typischerweise die gleiche wie bei einem VR-Headset sein wird, unterscheidet sich MR von VR, da es dem Benutzer erlaubt, weiterhin mit der physischen Welt zu interagieren. Dies wird durch eine Funktion namens Pass-Through erreicht, bei der Kameras an der Vorderseite eines Geräts die physische Umgebung aufzeichnen und dies in Echtzeit im Headset anzeigen, sodass es scheint, als wäre der Bildschirm transparent. Im Gegensatz zu AR interagiert der Benutzer jedoch nicht direkt mit der physischen Welt.

Meinungsverschiedenheiten über MR

Der Begriff Mixed Reality (MR) bezeichnet nicht für jeden eindeutig eine bestimmte Art von Technologie oder Benutzererfahrung, wobei einige argumentieren, dass wir den Begriff überhaupt nicht benötigen. Frühere Forschungen haben gezeigt, dass einige Experten MR als einen Oberbegriff für jede Art von Erfahrung interpretieren, die zwischen VR und AR existiert, während andere glauben, dass wir in Zukunft keine Unterscheidungen zwischen verschiedenen Arten von immersiven Technologien treffen werden. Ein Interviewpartner beschrieb diese Verschmelzung als „Cross-Reality“, bei der „Anwendungen über den Immersion-Gradienten hinweg wechseln“ und Benutzer zwischen der Interaktion in der physischen und virtuellen Welt wechseln. Dies verdeutlicht, wie die Entwicklung von neue technologien der zukunft oft zu einer Neudefinition von Begriffen führt.

Es gibt auch eine Diskrepanz zwischen der von Unternehmen verwendeten Terminologie zur Beschreibung ihrer immersiven Technologieprodukte und der Art und Weise, wie Interviewpartner ihre Geräte bezeichneten. Zum Beispiel würde das Apple Vision Pro Headset unserer Definition nach als Beispiel für MR qualifizieren, während Apple den Begriff „Spatial Computing“ verwendet. Im Gegensatz zur traditionellen Datenverarbeitung, bei der ein Benutzer Informationen eingibt und über eine digitale Schnittstelle interagiert, sammelt und verarbeitet Spatial Computing Informationen über einen Benutzer und seine Umgebung, um Computeraufgaben auszuführen. Spatial Computing ist jedoch in anderen Teilen der Technologiebranche kein häufig verwendeter Begriff. Die meisten Interviewpartner verwendeten den Begriff nicht, und wenn sie ihn verwendeten, bezog er sich oft auf Apple-Produkte. Ein Interviewpartner beschrieb diese Terminologiewahl als einen Weg für Apple, „all das Gepäck, das mit Virtual Reality einhergeht“, zu vermeiden, und erklärte, wie „es einfach eine Frage ist, dass Apple versucht, Dinge eher zu Branding-Zwecken zu benennen […] am Ende des Tages ist die Apple Vision Pro ein Virtual-Reality-Headset mit Mixed-Reality-Pass-Through.“

Ähnlich könnten einige Geräte, die typischerweise als „Mixed-Reality-Headsets“ bezeichnet werden, auch unter AR fallen. Zum Beispiel vermarktet Microsoft die HoloLens als MR-Gerät. Da die HoloLens jedoch holographische Bilder über die physische Welt legt, würde sie in das fallen, was eher als AR betrachtet wird. Dies zeigt die fluiden Grenzen und die sich entwickelnde Natur der xr technologie.

Was ist Virtual Reality (VR)?

Bei Virtual Reality (VR) taucht ein einzelner Benutzer in eine computergenerierte 3D-Umgebung ein, die sein Bewusstsein für die physische Welt erheblich reduziert. VR befindet sich am Ende des Virtualitäts-Realitäts-Spektrums, da ein Benutzer am weitesten von der physischen Umgebung entfernt und in eine virtuelle Umgebung eingetaucht ist. Dies wird typischerweise durch Head-Mounted Displays (oft als Headsets bezeichnet) erreicht, die Audio- und visuelle Informationen bereitstellen, um das Benutzererlebnis immersiver zu gestalten.

VR-Umgebungen bieten Einzelbenutzererlebnisse, wie die Teilnahme an VR-Bildungs- oder Therapieanwendungen. Diese Umgebungen können physische Umgebungen genau nachahmen oder filmische, künstlerische oder fantastische Erlebnisse schaffen. Mehrere Interviewpartner beschrieben VR beispielsweise als einen virtuellen Raum, in dem Benutzer theoretisch alltägliche Aufgaben wie Fernsehen, zur Arbeit gehen oder einkaufen erledigen könnten. Weitere Beispiele für VR-Umgebungen sind solche, die keine realen Umgebungen nachahmen, wie Isness, das therapeutische Dienste durch psychedelische Erfahrungen anbieten soll.

Während einige VR-Headsets, wie die PlayStation VR2 und Pico 4 Headsets, Funktionen wie Pass-Through enthalten können, werden diese typischerweise zur Bequemlichkeit und nicht als Teil des immersiven Erlebnisses verwendet. Zum Beispiel, um einem Benutzer das schnelle Durchblicken eines VR-Headsets zu ermöglichen, um Controller während des Spiels aufzunehmen. In diesen Fällen würde dies nicht als MR qualifizieren, da ein Benutzer nicht in der Lage ist, gleichzeitig mit Elementen der physischen und virtuellen Welt zu interagieren.

Was ist eine immersive virtuelle Welt (IVW)?

Während VR-Technologien Einzelbenutzererlebnisse bieten, ist eine Immersive Virtuelle Welt (IVW) oder ein Metaverse eine Art von VR, die Multi-Benutzererlebnisse bietet und ein sozialeres virtuelles Erlebnis ermöglicht. In diesen virtuellen Umgebungen verwendet ein Benutzer Avatare, um mit anderen Benutzern, virtuellen Objekten und der virtuellen Umgebung zu interagieren. Ein Avatar ist eine aktive virtuelle Darstellung einer Person in einer virtuellen Welt, die vom Benutzer über Geräte, Sensoren und Controller gesteuert werden kann. Avatare können cartoonartig sein, wie in Videospielen, oder fotorealistisch.

Wo IVWs auf dem Virtualitäts-Realitäts-Spektrum angesiedelt sind, hängt davon ab, welche Geräte verwendet werden. Während VR-Headsets für den Zugang zu IVWs verwendet werden können, ist dies gemäß unserer Definition nicht die einzige Möglichkeit, darauf zuzugreifen. Die Immersion von IVWs hängt auch vom verwendeten Gerät ab. Zum Beispiel bietet der Zugriff auf IVWs über einen Desktop ein viel weniger immersives Erlebnis als ein durchsichtiges MR-Headset. Ebenso bieten diese weniger Immersion als VR-Headsets mit geschlossener Rückseite. Einige IVWs können über alle drei Geräte (VR, MR und Desktop-Computer) zugänglich sein. VRChat bietet beispielsweise unterschiedliche Immersionsebenen je nach dem Gerät, über das auf die IVW zugegriffen wird.

Immersive virtuelle Welten können in ihrer Größe variieren, von einer kleinen virtuellen Umgebung für eine spezifische Gemeinschaft bis hin zu einer größeren virtuellen Umgebung, die jedem im Internet zugänglich ist. Ein Interviewpartner argumentierte, dass immersive virtuelle Welten nicht miteinander verbunden sein müssen: „Viele Leute sagen, Roblox sei kein echtes Metaverse, es sei nicht interoperabel. Was ich sagen würde, ist, dass ich es nicht nur als Technologie betrachte, sondern auch als Benutzererfahrung und was die Benutzer tun.“ Dies stellt die Vorstellung infrage, dass IVWs interoperabel sein müssen, was bedeutet, dass sie über benachbarte IVWs zugänglich sein oder eine bestimmte Größe haben können, und schließt stattdessen virtuelle Welten ein, die kleiner im Umfang sind und nicht mit anderen Welten verbunden sind. Von Interviewpartnern diskutierte IVWs umfassten Metas Horizon Worlds, Roblox, VRChat und Rec Room.

Meinungsverschiedenheiten über IVWs

Interviewpartner verwendeten eine Reihe von Begriffen, um IVWs zu beschreiben, wie immersive Umgebungen, virtuelle Welten, immersive Räume und immersive Realität. Der Begriff „Metaverse“ wurde jedoch am häufigsten verwendet, was dem entspricht, was die meisten Menschen wahrscheinlich mit IVWs assoziieren.

Es gibt geteilte Meinungen darüber, ob IVWs über Hardware wie Laptops zugänglich sein können oder VR-Headsets erfordern, um als immersiv zu gelten. Einige Interviewpartner schlugen vor, dass IVWs auf viele Arten zugänglich sein könnten, z. B. über ein mobiles Gerät oder ein Videospiel, anstatt nur über ein VR-Headset. Wie ein Teilnehmer es ausdrückte, sind diese Eingaben eine Art „Mittel zum Zweck“ für IVWs, wobei der Zweck immersive soziale Erfahrungen sind. Andere Interviewpartner waren anderer Meinung, dass IVWs, die keine VR-Headsets erfordern, als immersiv gelten würden: „[Es gibt] Plattformen, die Menschen als Proto-Metaverse bezeichnen, wie Roblox und Minecraft, die man auf einem Computer oder Tablet nutzen kann. Aber ich würde diese nicht unbedingt als immersiv bezeichnen.“

Avatare interagieren in einer immersiven virtuellen Welt, symbolisierend soziale VR-Erlebnisse.

Wie funktionieren immersive Technologien?

Jede Art von immersiver Technologie basiert auf einem gemeinsamen Satz von Komponenten und Funktionen. Es ist entscheidend, dass politische Entscheidungsträger diese Komponenten verstehen, wie sie funktionieren und wie sie bestimmte Arten von Risiken ermöglichen können. Ein klares Bild davon, wie immersive Technologien funktionieren, kann dabei helfen zu beurteilen, welche Aspekte durch bestehendes Recht abgedeckt sind, welche Lücken in den regulatorischen Befugnissen bestehen und welche Risiken neue Kontrollen und Governance-Methoden erfordern könnten.

Immersive Technologien funktionieren durch einen iterativen Prozess der Datenerstellung und -verarbeitung, der die Produktion von immersiven Inhalten ermöglicht. Dieser Prozess basiert auf Benutzerinteraktionen mit Hardware und Sensoren zur Erstellung und Sammlung von Daten. Diese Daten werden dann als Eingaben verwendet, die von Software verarbeitet werden, um immersive Inhalte als Ausgaben zu erzeugen. Diese Ausgaben werden dann über Ausgabegeräte bereitgestellt.

Welche Hardware wird verwendet?

Immersive Technologien setzen auf eine Vielzahl von Hardwareprodukten. Dazu gehört Hardware, die für eine breite Palette von Zwecken konzipiert ist, wie zum Beispiel Smartphones, aber auch Hardware, die speziell für die Schaffung immersiver Erlebnisse entwickelt wurde, wie VR-Headsets.

Augmented Reality (AR)-Systeme greifen beispielsweise häufig auf Hardware wie Smartphones oder Tablets zurück. Da Smartphones und Tablets jedoch nicht am Körper befestigt sind, gibt es Einschränkungen hinsichtlich der Art oder Menge der Daten, die im Vergleich zu Wearable Technologies gesammelt werden können.

Immersivere Erfahrungen wie Virtual Reality (VR) oder Mixed Reality (MR) werden oft auf Wearable Technologies basieren. Diese ermöglichen es, mehr Daten vom Körper des Benutzers zu sammeln (z. B. durch Verfolgung der Kopfposition oder Blickverfolgung), die dann analysiert und zur Darstellung neuer Bilder, Audios oder räumlicher Abbildungen einer Umgebung verwendet werden. Benutzer können beispielsweise Metas Horizon Worlds über ihr Mobilgerät, ihren Webbrowser oder ihr VR-Headset aufrufen. Nur das VR-Headset kann jedoch Daten über Kopfbewegungen und Blickverfolgung eines Benutzers sammeln, was den Grad der Immersion durch sein geschlossenes Display erhöht.

Head-Mounted Displays oder Headsets sind das gängigste Beispiel für Wearable Technologies, die für immersive Erlebnisse und zur Anzeige virtueller Inhalte entwickelt wurden. Beispiele für Head-Mounted Displays sind VR-Headsets, MR-Headsets und Smart Glasses. Ein weiteres häufiges Beispiel für Wearable Technologies sind Controller, die von Benutzern bedient werden, um mit immersiven Erlebnissen zu interagieren. Hier bieten auch beacon technologie neue Möglichkeiten zur Interaktion und Positionserkennung in physischen Räumen, die mit immersiven Welten verknüpft werden können.

Alle Hardware von immersiven Technologien enthält Eingabe- und Ausgabegeräte. Eingabegeräte sammeln Daten zur Verarbeitung durch die Software des Produkts, und Ausgabegeräte liefern immersive Inhalte an einen Benutzer, wie Video-, Audio- und haptische Ausgaben. Verschiedene Konfigurationen und Arten von Eingabe- und Ausgabegeräten können für verschiedene immersive Technologien verwendet werden, und einige Komponenten sind in einigen immersiven Technologien häufiger zu finden als in anderen.

Kameras sind beispielsweise in allen immersiven Technologien zu finden, während einige Formen von haptischen Geräten (die auf Berührung reagieren, diese erkennen oder simulieren) wie Handschuhe und Westen möglicherweise nicht in Hardware verwendet werden, die auf dem Virtualitäts-Realitäts-Spektrum niedriger angesiedelt ist, wie z. B. smartphonebasierte AR-Systeme. Variationen zwischen Komponenten können auch bei derselben Art von Hardware auftreten. Zusätzlich zur doppelten Anzahl von Kameras im Vergleich zur Meta Quest 3 verfügt das Apple Vision Pro Headset über Blickverfolgungsfunktionen, während die Meta Quest 3 dies nicht tut. Ebenso können einige Eingabe- und Ausgabegeräte als zusätzliche Produkte verkauft werden, die ein Benutzer hinzufügen kann, um ein immersives Erlebnis zu verbessern. Während beispielsweise die meisten VR-Headsets Bewegungssensoren eingebaut haben, könnte ein Benutzer auch zusätzliche Geräte wie an Handgelenken und Gliedmaßen getragene Sensortags oder Exoskelette und Laufbänder kaufen, die zur Steuerung der Bewegung und zur Erhöhung des Grades der Immersion in einer virtuellen Umgebung verwendet werden. Solche Entwicklungen sind entscheidend für die technologie 2030.

Welche Daten werden erstellt und gesammelt?

Immersive Technologien, die tragbare Geräte verwenden, erhöhen die Menge an Daten, die von Benutzern und der Umgebung eines Benutzers gesammelt werden können, erheblich. Dazu gehören, aber nicht nur:

• Physiologische Daten (z. B. Kopfbewegungen und Herzfrequenz)
• Umweltdaten (z. B. Objekterkennung und Tonverfolgung)
• Positionsdaten (z. B. die Position und Bewegung eines Benutzers)
• Benutzerprofildaten (z. B. demografische Daten und Nutzungsdaten).

Grafik, die die verschiedenen Arten von Daten darstellt, die von immersiven Technologien gesammelt werden: physiologische, umweltbezogene, Positions- und Benutzerprofildaten.

Wie bei den Eingabe- und Ausgabegeräten hängen die spezifischen Formen der von immersiven Technologien gesammelten Daten vom Produkt und dem Anwendungsfall ab. Zum Beispiel sammelt Pokémon Go, ein AR-Spiel, persönliche Informationen über den digitalen Fußabdruck eines Benutzers, wie seine E-Mail-Adresse, IP-Adresse und seinen Standort, hat aber nicht die Kapazität, persönliche biometrische Daten wie Hand-Tracking zu sammeln, was die Meta Quest 3, ein VR-Headset, tut. Andererseits sammeln sowohl MR- als auch VR-Headsets Umweltdaten, aber MR-Geräte wie die Apple Vision Pro sammeln durch LiDAR-Technologie hochauflösendere räumliche Informationen über die Umgebung eines Benutzers, was eine präzisere Umgebungszuordnung im Vergleich zu den Time-of-Flight-Sensoren ermöglicht, die typischerweise in VR-Headsets wie den Datenerfassungssystemen der Meta Quest 3 verwendet werden.

Welche Software wird verwendet?

Immersive Technologien verwenden Softwareprogramme, um von Eingabegeräten gesammelte Daten zu verarbeiten und immersive Inhalte über Ausgabegeräte an Benutzer zu liefern. Einige Beispiele für die verschiedenen Arten von Software, die immersive Technologien verwenden können, sind:

• Betriebssysteme: Auf grundlegender Ebene basieren immersive Technologien auf Betriebssystemen, die Hardwaregeräte wie Smartphones, Tablets oder Computer antreiben. Dazu gehören Windows OS und Apples VisionOS, die alle anderen Softwareprogramme, einschließlich immersiver Technologieplattformen, unterstützen.
• Plattformen: Immersive Technologieplattformen bieten Umgebungen und Tools für Entwickler, um Anwendungen zu entwickeln und zu verwalten, und für Benutzer, um auf Anwendungen zuzugreifen.
• Anwendungen: Spezifische Programme, die auf den Plattformen laufen und die immersiven Erfahrungen für den Endnutzer bereitstellen.
• Rendering-Engines: Software, die 2D- oder 3D-Grafiken in Echtzeit erstellt und aktualisiert, um eine flüssige und realistische Darstellung in virtuellen Umgebungen zu gewährleisten.
• Algorithmen: Immersive Technologiesoftware verwendet auch Algorithmen zur Datenverarbeitung und zum Rendern immersiver Inhalte. Algorithmen dienen als Anweisungen, wie Daten von der immersiven Technologiesoftware verwendet werden sollen. Oft sind die von immersiven Technologiesoftware verwendeten Algorithmen maschinelle Lernalgorithmen – hier konvergieren immersive Technologien mit KI.

Zum Beispiel läuft das Meta Quest 3 Headset auf dem Betriebssystem Meta Horizon OS, einem MR-Betriebssystem, das auf Googles Open-Source-Android OS basiert. Spieler können über die Horizon Worlds-Plattform miteinander interagieren, die selbst sowohl eine Anwendung als auch eine Plattform ist, über die Benutzer auf andere Anwendungen wie Gizmos zugreifen können. Horizon Worlds und andere Plattformen für die Meta Quest 3 können mit den Rendering-Engines Unity und Unreal Engine entwickelt werden. Einer der vielen Algorithmen, die von der Meta Quest 3 verwendet werden, sind Computer-Vision-Algorithmen für das Inside-Out Body Tracking (IOBT)-System, das es dem System ermöglicht, Oberkörperbewegungen abzubilden, wodurch die vom Benutzer empfundene Immersion erhöht wird.

Welche Arten von KI-Algorithmen werden verwendet?

Die Konvergenz zwischen immersiven Technologien und KI wurde in unseren Interviews als besonders wichtig angesehen, wobei über die Hälfte der Interviewpartner sie diskutierten. Während KI-Systeme selbst keine immersiven Technologien sind, können sie oft eine Rolle bei der Unterstützung der Entwicklung und Nutzung von immersiven Technologien spielen. Interviewpartner diskutierten beispielsweise, wie KI zur Unterstützung immersiver Technologien durch Inhaltserzeugung, zur Objekterkennung, zur Personalisierung immersiver Technologieanwendungen und zur Sprach-zu-Text-Übersetzung in verschiedene Sprachen verwendet werden kann, um immersive Erfahrungen zugänglicher zu machen.

Viele der von Interviewpartnern diskutierten Konvergenzformen gingen dem aktuellen Aufschwung generativer KI und großer Sprachmodelle (LLMs) voraus. Einige Beispiele dieser maschinellen Lernalgorithmen umfassen solche, die darauf abzielen, Informationen aus physischen Umgebungen zu erkennen:

• Szenen- und Objekterkennungsalgorithmen sind entscheidend für AR- und MR-Geräte, die Daten aus der physischen Welt verwenden, um die Umgebung eines Benutzers zu erkennen und Objekte darin zu identifizieren.
• Ton- und Spracherkennungsalgorithmen analysieren und erkennen Geräusche oder Stimmen von Benutzern und andere Geräusche, um Ton und Sprache zu erkennen. Dies kann wichtig für Sprachbefehle oder die Kommunikation mit anderen Benutzern sein.
• Gesichtserkennungsalgorithmen erkennen Gesichter in einer Umgebung und identifizieren sie basierend auf einer bestehenden Datenbank. Sie wurden aufgrund von Datenschutzbedenken nicht in gängige kommerzielle Produkte integriert, aber in immersiven Technologieprodukten, die von Polizeikräften auf der ganzen Welt verwendet werden.

Weitere Beispiele sind Profiling-Algorithmen, die Daten über Benutzer erstellen, indem sie diese in psychologische, verhaltensbezogene und demografische Gruppen, auch als psychographische Merkmale bezeichnet, kategorisieren. Daten, die von Profiling-Algorithmen erstellt werden, können zu den Benutzerprofildaten hinzugefügt und als Eingabe für andere Algorithmen, wie z. B. Algorithmen zur Inhaltserzeugung, verwendet werden. Profiling-Algorithmen umfassen:

• Emotionserkennungsalgorithmen, die Rückschlüsse auf die vermeintlichen emotionalen Zustände und emotionalen Reaktionen eines Benutzers auf Inhalte ziehen. Dies basiert auf Daten wie physiologischen Daten wie Mimik, Herzfrequenz und Pupillenerweiterung.
• Benutzerpräferenzerkennungsalgorithmen, die Rückschlüsse auf die vermeintlichen Präferenzen eines Benutzers ziehen. Dies basiert auf Daten wie physiologischen Daten und Nutzungsdaten, wie der Zeit, die mit der Interaktion mit bestimmten Inhalten verbracht wurde.
• Geschlechtsidentifikationsalgorithmen ziehen Rückschlüsse auf das angenommene Geschlecht eines Benutzers basierend auf Daten, einschließlich Verhaltensdaten.

Während einige Formen der KI, die in immersiven Technologien verwendet werden, den jüngsten Entwicklungen in der generativen KI vorausgehen, wurde die Nutzung generativer KI-Systeme als besonders nützlich für das Rendern von Grafik- und Audioinhalten für immersive Erlebnisse diskutiert. Entwicklungen in diesem Bereich könnten den Prozess der Inhaltserstellung für immersive Erlebnisse rationalisieren. Algorithmen, die darauf abzielen, immersive Inhalte zu rendern, sind vielfältig und entscheidend für die Qualität und den Realismus des Erlebnisses.

Wie werden Daten verwaltet?

Wie Produkte der immersiven Technologien mit Daten umgehen, kann variieren. Hier stellen wir ein Modell vor, das veranschaulicht, wie Daten verwaltet werden, um immersive Technologien zu operationalisieren. Dieses „Datenlebenszyklus“-Modell, dargestellt in Abbildung 11, bietet einen Überblick über die Phasen der Datenverwaltung, von der Sammlung bis zur Stilllegung. Dies umfasst:

1. Datenerstellung und -sammlung
2. Datennutzung
3. Datenspeicherung

Fazit und Ausblick

Die Definition von immersiven Technologien wird durch das Fehlen einer konsistenten Terminologie in diesem Bereich und einer klaren Definition dessen, was eine Technologie „immersiv“ macht, erschwert. Trotzdem identifizieren wir vier Haupttypen von immersiven Technologien: Augmented Reality (AR), Mixed Reality (MR), Virtual Reality (VR) und Immersive Virtuelle Welten (IVWs).

Die Unterschiede zwischen diesen Technologien können anhand ihrer Position auf dem Virtualitäts-Realitäts-Spektrum beurteilt werden, das diese Technologien danach einordnet, wie sehr der Benutzer das Bewusstsein für die physische Welt verliert. Diese Technologien teilen oft viele Hardware- und Softwareelemente wie Kameras, Bewegungssensoren, visuelle Anzeigegeräte und Rendering-Engines. Je nach ihrer Komplexität können diese Geräte erheblich mehr Daten sammeln als Geräte wie Laptops oder Smartphones. Die Konvergenz zwischen immersiven Technologien und KI sticht als besonders wichtiges Element dieser Geräte hervor, wobei mehrere Interviewpartner die Bedeutung von KI-Algorithmen (wie Profiling-Algorithmen und Szenen- und Objekterkennungsalgorithmen) für die Entwicklung von immersiven Technologien betonten.

Dieser Artikel zielt darauf ab, der Öffentlichkeit, politischen Entscheidungsträgern und Regulierungsbehörden ein umfassendes Verständnis von immersiven Technologien zu vermitteln, indem ihre umstrittene Terminologie, Funktionalitäten und technologische Architektur untersucht werden. Dadurch bemühen wir uns, Diskussionen in der Politik und die Entwicklung nuancierter Ansätze zur Governance und Regulierung zu erleichtern, die sowohl die Chancen als auch die Herausforderungen, die sie mit sich bringen, adressieren. Nur mit einem fundierten Wissen können wir die Potenziale dieser Zukunftstechnologien voll ausschöpfen und gleichzeitig die damit verbundenen Risiken minimieren.