Die Idee, Lieblings-Apps als immersive 3D-Umgebungen zu erleben, rückt dank einer von Google finanzierten Forschungsinitiative am Georgia Tech immer näher. Ein neuer Ansatz, vorgeschlagen von Tech-Forscher Yalong Yang, nutzt generative Künstliche Intelligenz (GenAI), um nahezu jede mobile oder webbasierte Anwendung in eine 3D-Umgebung zu verwandeln. Dies schließt Anwendungsprogramme von Microsoft und Adobe – wie beispielsweise Photoshop – sowie soziale Medien wie TikTok, Unterhaltungs-Apps wie Spotify, Banking-Apps wie PayPal oder Essensliefer-Dienste wie Uber Eats ein.
Yang zielt darauf ab, diese 3D-Umgebungen mit Augmented Reality (AR) und Virtual Reality (VR)-Headsets sowie Smart Glasses kompatibel zu machen. Er ist überzeugt, dass seine Forschung einen Durchbruch im räumlichen Computing darstellen und die Art und Weise, wie Menschen mit ihren bevorzugten Apps und Computersystemen im Allgemeinen interagieren, grundlegend verändern könnte.
„Wir werden uns umdrehen und sehen können, was wir wollen, und wir können es greifen und zusammenfügen“, erklärt Yang, Assistenzprofessor an der School of Interactive Computing. „Wir werden keine Maus mehr zum Scrollen oder eine Tastatur zum Tippen benötigen, sondern mehr Dinge wie physische Navigation tun können.“ Yangs Vorschlag brachte ihm kürzlich die Anerkennung als Google Research Scholar 2025 ein. Seine Plattform wird nicht nur beliebte soziale Apps konvertieren können, sondern auch Photoshop, MS Office und andere Arbeitsplatzanwendungen sofort in 3D für AR/VR-Geräte rendern. Für detailliertere Informationen über mobile Bildbearbeitung können Sie hier mehr über adobe photoshop android tablet erfahren.
„Wir haben so viele Anwendungen auf unseren Geräten installiert, um all die verschiedenen Arten von Arbeit zu erledigen“, sagt er. „Wir nutzen Photoshop für die Bildbearbeitung, Premiere Pro für die Videobearbeitung, Word zum Schreiben von Dokumenten. Wir wollen ein AR/VR-Ökosystem schaffen, das all diese Dinge in einer Oberfläche verfügbar macht, wobei alle Apps kohäsiv zusammenarbeiten, um Multitasking zu unterstützen.“
Die Lücke füllen: KI als Brücke zur virtuellen Welt
So wie Googles Veo und OpenAIs Sora generative KI zur Erstellung von Videoclips nutzen, glaubt Yang, dass sie auch zur Schaffung interaktiver, immersiver Umgebungen für jede Android- oder Apple-App eingesetzt werden kann. „Eine kritische Lücke in AR/VR ist, dass wir all diese bestehenden Anwendungen nicht haben, und die Neugestaltung all dieser Apps würde ewig dauern“, betont er. „Es ist dringend erforderlich, dass wir ein vollständiges Ökosystem in VR haben, das es uns ermöglicht, die Arbeit zu erledigen, die wir tun müssen. Anstatt alles von Grund auf neu zu erstellen, brauchen wir einen Weg, diese Anwendungen in immersive Formate zu konvertieren.“
Professor Yalong Yang von Georgia Tech erforscht 3D-Apps für TikTok und Photoshop
Der Google Play Store bietet 3,5 Millionen Apps für Android-Geräte, während der Apple Store 1,8 Millionen Apps für iOS-Nutzer enthält. Gleichzeitig sind auf dem neuesten Meta Quest 3 Headset weniger als 10.000 Apps verfügbar, was eine Lücke von Millionen von Anwendungen hinterlässt, die eine 3D-Konvertierung benötigen. „Wir stellen uns eine Ein-Klick-App vor, und die (Android Package Kit)-Datei-Ausgabe wird ein Meta APK sein, das Sie auf Ihrem Meta Quest 3 installieren können“, erklärt Yang. Wer sich für die Grundlagen von Photoshop interessiert, findet vielleicht relevante Informationen unter photoshop schüler.
Yang sagt, dass große Technologieunternehmen wie Apple die Ressourcen haben, ihre Apps in 3D-Formate umzugestalten. Kleinere bis mittelgroße Unternehmen, die Apps entwickelt haben, verfügen jedoch entweder nicht über diese Fähigkeit oder würden Jahre dafür benötigen. Hier kann generative KI helfen. Yang plant, den Quellcode von webbasierten und mobilen Apps in WebXR zu konvertieren. WebXR ist eine Reihe von Anwendungsprogrammierschnittstellen (APIs), die Entwicklern ermöglichen, AR/VR-Erlebnisse innerhalb von Webbrowsern zu erstellen. „Wir beginnen mit webbasierten Inhalten“, sagt er. „Viele Dinge basieren bereits auf dem Web, daher wollen wir diese Benutzeroberfläche in WebXR konvertieren.“
Neue Welten bauen: Vom Quellcode zur immersiven Erfahrung
Der Prozess zur Konvertierung mobiler Apps wäre ähnlich. „Android verwendet eine XML-Beschreibungsdatei, um seine Benutzeroberflächen-(UI)-Elemente zu definieren. Das ist sehr ähnlich wie HTML auf einer Webseite. Wir glauben, dass wir dies als unsere Eingabe verwenden und die Elemente an ihre gewünschte Position in einer 3D-Umgebung abbilden können. KI ist hervorragend darin, eine Sprache in eine andere zu übersetzen – JavaScript in C-sharp zum Beispiel – das kann uns in diesem Prozess helfen.“
Wenn generative KI Umgebungen schaffen kann, wäre der nächste Schritt, ein nahtloses Benutzererlebnis zu schaffen. „In einer normalen Desktop- oder mobilen Anwendung können wir immer nur eine Sache gleichzeitig sehen, und das gilt auch für viele VR-Headsets, bei denen eine Anwendung alles einnimmt. Um in einer Multitasking-Umgebung zu leben, können wir uns nicht nur auf eine Sache konzentrieren, da wir unsere Aufgaben ständig wechseln müssen. Wie können wir also alle Elemente aufbrechen und sie schwebend anordnen, um eine räumliche Ansicht um den Benutzer herum zu schaffen?“ Wer mehr über Photoshop auf Android-Geräten erfahren möchte, kann sich unter adobe photoshop android informieren.
Neben Assistenzprofessorin Cindy Xiong ist Yang einer von zwei Forschern der School of Interactive Computing, die als Google Research Scholar ausgezeichnet wurden. Insgesamt haben vier Forscher des College of Computing diese Auszeichnung erhalten. Die beiden anderen sind Ryan Shandler von der School of Cybersecurity and Privacy und Victor Fung von der School of Computational Science and Engineering.
Fazit
Die bahnbrechende Forschung von Yalong Yang am Georgia Tech, unterstützt durch Google, verspricht eine tiefgreifende Transformation unserer Interaktion mit digitalen Anwendungen. Indem generative KI genutzt wird, um bestehende mobile und webbasierte Apps wie TikTok und Photoshop in immersive 3D-Erlebnisse für AR/VR-Umgebungen zu verwandeln, wird eine kritische Lücke im Ökosystem des räumlichen Computings geschlossen. Diese Vision ermöglicht nicht nur ein intuitiveres, physischeres Benutzererlebnis jenseits von Maus und Tastatur, sondern ebnet auch den Weg für nahtloses Multitasking in virtuellen Welten. Die Zukunft, in der unsere Lieblings-Apps in lebendigen 3D-Räumen existieren, ist näher, als wir denken, und wird unser digitales Leben revolutionieren. Bleiben Sie dran für weitere Einblicke in die spannende Entwicklung des Spatial Computing!