Thought Leadership
Virtual Reality erlebt zurzeit einen regelrechten Boom – die größten Hard- und Softwarekonzerne bringen Tools und Geräte auf den Markt und nicht nur die Computerspiele-Branche hat neue Geschäfte gewittert. Dass Virtual Reality längst nicht nur im Unterhaltungssektor eingesetzt wird, zeigt die Breite der Anwendungen dieser Technologie.
Der vorliegende Artikel befasst sich einerseits kurz mit der Geschichte der Technologie, geht dann auf die unterschiedlichen Arten von Virtual Reality ein und zeigt auf, wie Inhalte für Virtual Reality heute produziert werden.
Seit wann gibt es Virtual Reality?
Bereits bevor 1987 der Begriff «Virtual Reality» geboren wurde, gab es Bestrebungen, Menschen mittels immersiver Technologie in virtuelle Welten zu versetzen. So wurde beispielsweise schon in den 1950er das Morton Heilig’s Sensorama erfunden, welches nebst 3D-Display auch Vibrationen und Gerüche simulierte.
In den Neunzigern präsentierten die Konsolen-Schwergewichte SEGA und Nintendo VR-Brillen, denen jedoch der kommerzielle Erfolg verwehrt blieb – zu gering die Auflösung, zu teuer die Geräte und demnach auch zu tief die Nachfrage im Markt.
Ein Revival erlebte die Technologie dann 2012 mit dem Kickstarter-Projekt von Palmer Luckey, welcher die Oculus Rift vorstellte – und die sehr erfolgreich finanziert wurde. Danach ging es Schlag auf Schlag: Oculus wurde im März 2014 für $2 Mia. von Facebook aufgekauft, kurz darauf lancierte Google im Juni 2014 das Cardboard. Youtube als größte Videoplattform unterstützt seit März 2015 das 360°-Videoformat, seit September 2015 ist auch Facebook dabei.
Im November 2015 stellte Samsung mit der Gear VR ihre eigene VR-Brille vor, Google zog Ende 2016 mit Daydream nach – einem VR-Ökosystem bestehend aus einer Plattform und einer VR-Brille namens «Daydream View». Microsoft lancierte mit der HoloLens im März 2016 eine AR-Brille. Mit dem Creators Update für Windows 10 stellte Microsoft im April 2017 Tools zur Kreation von 3D-Inhalten für AR und VR sowie die Unterstützung der HoloLens und von Drittanbietern hergestellte VR-Brillen in Aussicht.
Mit Apple sprang im Juni 2017 der letzte grosse Player im IT-Markt auf den Zug auf und kündigte nicht nur an, dass die neueste Generation von Apple-Produkten VR-Support erhalten (dank Unterstützung externer Grafik-Hardware), sondern stellte mit dem AR Kit eine Entwicklungsumgebung vor, die auf einen Schlag zur größten Augmented-Reality-Plattform werden könnte.
Wie werden VR-Inhalte produziert?
Obwohl die Technologie noch relativ jung ist, existiert bereits eine beachtliche Vielfalt an Inhalten, welche sich mit dem Begriff Virtual Reality schmücken. Diese Inhalte unterscheiden sich nicht nur in der Machart, sondern auch in den Möglichkeiten, welche sich dem Konsumenten bieten.
360°-Bilder und -Videos
Die Panoramafotografie ist bereits eine ältere Technologie, erlebt aber im Zuge des VR-Trends eine neue Blütezeit. Es handelt sich dabei um Einzelbilder, welche zu einer Kugel zusammengeführt werden und in welcher man sich in einem entsprechenden Viewer umsehen kann – mehr Möglichkeiten sind dem Betrachter nicht gegeben. 360°-Bilder sind sicher die einfachste Form von immersiven Inhalten.
Dank günstigen 360°-Kameras oder Apps für das Smartphone können 360°-Bilder mittlerweile sehr einfach erstellt und beispielsweise über Facebook geteilt werden.
Bild 1: Beispiel eines 360°-Panoramafotos, hier dargestellt als «aufgeklappte Kugel» (Bildquelle: Bandara).
360°-Videos gehen einen Schritt weiter und erlauben es, sich in einem Video umzusehen. Diese Videos können entweder gefilmt sein (“Live Action”) oder am Computer erstellt und gerendert sein. Beide Arten des 360°-Films können in stereoskopischem 3D aufgenommen oder kreiert werden, um zusätzlich zum 360°- einen Tiefeneffekt zu vermitteln. Zusätzlich kann auf positionsabhängiges Audio gesetzt werden, um die Illusion, sich an einem anderen Ort zu befinden, zu verstärken (man spricht in diesem Zusammenhang von Immersion).
Während die Immersion stärker ist als bei 360°-Bildern ist die Interaktionsmöglichkeit seitens des Betrachters gleich eingeschränkt – außer der Möglichkeit, sich im Video umzusehen erfolgt keine Interaktion.
Für die Produktion von 360°-Videos wird auf Systeme gesetzt, die aus mehreren Einzelkameras besteht. Auch hier ist das Spektrum bereits relativ breit und verschiedene Anbieter stellten bereits Hardware für den Consumer-Markt vor, es gibt jedoch auch teure Profisysteme.
Der erste Schritt nach dem Filmen von 360°-Videos besteht darin, die einzelnen Videos zusammenzuführen (genannt «stitching»). Während Consumer-Geräte dies meistens automatisch erledigen, setzt man im semi- oder professionellen Sektor auf spezielle Software, um sehr detailliert arbeiten zu können. Moderne Systeme setzen auf cloudbasierte Algorithmus-Systeme, welche das Stitching automatisieren, jedoch noch recht zeitaufwändig sind.
Im Anschluss an das Stitching wird das Videomaterial analog einem «normalen» Video geschnitten, vertont und farbkorrigiert und kann auch mit CGI-Elementen angereichert werden.
Video: Beispiel eines 360°-Videos (Bandara Showreel). Probieren Sie die Richtungs-Buttons oben links aus.
Interaktive Touren
Basierend auf 360°-Bildern und -Videos können auch interaktive Touren erstellt werden. Ähnlich wie bei Google Streetview erlaubt dies dem Betrachter, sich durch verschiedene Szenen zu «bewegen». Meistens wird dabei auf sogenannte «Gaze Buttons» gesetzt – also Schaltflächen, die man mit einem fixierten Blick in der VR-Brille aktivieren kann. Interaktive Touren können natürlich weitere Inhalte wie beispielsweise Text, Bild, Ton und flache Videos beinhalten.
Für die Erstellung von solchen Inhalten stehen verschiedene Desktop-Applikationen zur Verfügung, die es erlauben, die verschiedenen Szenen miteinander zu verbinden und die zusätzlichen Elemente zu integrieren.
Virtual Reality
Wenn man verschiedene Definitionen von Virtual Reality herbeizieht, sind Faktoren wie «computergenerierte 3D-Welt», «Interaktionsmöglichkeiten» sowie das VR-Headset determinierende Faktoren. Im Unterschied zu den bisher beschrieben Inhalten sind dabei in Echtzeit generierte Inhalte gemeint, in welchem sich der Betrachter frei bewegen kann. Eine solche Bewegung kann durch Controller-Inputs geschehen oder aber – im Falle der HTC Vive – sogar durch das Verorten des eigenen Körpers durch Tracking-Sensoren.
Der Betrachter kann sich also nicht nur in alle Richtungen umsehen, sondern auch seine Position in alle Richtungen verändern und mit virtuellen Objekten interagieren. Die folgende Grafik fasst die Unterschiede zusammen:
Bild 2: Interaktivität in Virtual-Reality-Inhalten (Bildquelle: Bandara).
Für die Produktion von solchen VR-Elementen wird auf Game Engines wie Unity oder die Unreal Engine gesetzt, meist in Zusammenarbeit mit weiterer Software beispielsweise für das Modellieren und Animieren von 3D-Inhalten (Blender, Cinema 4D, Maya) oder das Erstellen von Texturen (Photoshop).
Unter anderem ein Team um Mozilla und Google möchte jedoch VR vermehrt auch ins Web bringen. Dazu wurde basierend auf WebGL-Technologien eine API namens WebVR entwickelt, die es erlaubt, 3D-Inhalte auch in den Browser zu bringen. Mit dem Framework «A-Frame» ist es sogar möglich, mit reinen Webentwickler-Kenntnissen VR-Inhalte zu erstellen.
Unterschied zwischen Virtual, Augmented und Mixed Reality
Oft wird im Zuge von Virtual Reality (VR) auch Augmented (AR) oder Mixed Reality (MR) genannt. Obwohl diese immersiven Inhalte auch auf einem HMD (z.B. Hololens) betrachtet werden können, unterscheiden sie sich in einem fundamentalen Punkt von VR-Inhalten.
Während der Betrachter von VR-Inhalten durch Headset und Kopfhörer komplett von der echten Welt abgeschottet ist und in fremde Welten «teleportiert» wird, ist bei AR- und MR-Inhalten die reale Umgebung noch sichtbar, wird aber mit zusätzlichen Elementen angereichert. Wenn man von MR spricht, ist dabei meist die Technologie gemeint, den realen Raum mittels Sensoren zu scannen und CGI-Elemente lebensecht in diese Umgebung einzubetten. Diese Inhalten werden ebenfalls meist mit Game Engines produziert.
Vereinfacht formuliert kann man sagen, das VR die Menschen überall hinbringt, während AR und MR alle Informationen zum Menschen bringen.
Welche Hardware gibt es?
Betrachtet man die heutige VR-Hardware, kann grob zwischen zwei Arten der sogenannten «Head Mounted Devices» (kurz HMD) oder VR-Brillen unterschieden werden. Je nach Art des VR-Inhalts ist es möglich, diesen auf verschiedenen Systemen zu betrachten. 360°-Videos beispielsweise können auf Highend-Geräten, auf mobilen VR-Systemen, aber auch auf dem Smartphone oder im Web-Browser ohne Brille betrachtet werden.
Während Inhalte auf Brillen eine hohe Immersion bieten, ist die Reichweite der Inhalte durch die noch tiefe Verbreitung dieser Hardware im Markt noch relativ gering. Das Betrachten von 360°-Inhalten auf dem Smartphone oder Desktop ist nicht dasselbe faszinierende Erlebnis, erreicht dafür ein viel größeres Publikum.
Bild 3: VR-Brillen auf dem Spektrum zwischen Reichweite und Immersion (Bildquelle: Bandara).
VR via Smartphone
Bei den Mobile-HMD werden moderne Smartphones in eine VR-Brille eingesetzt. Das Smartphone dient dabei nicht nur als Display, sondern auch als Rechner, der mit Hilfe der Gyro-Sensoren die Drehung und Neigung des Kopfes erkennt und entsprechend in die virtuelle Realität überträgt.
Der Vorteil dieser Hardware liegt darin, dass keine Kabel benötigt werden, um ein Display zu betreiben. Ein weiterer Pluspunkt ist der Preis: Die einfachste Smartphone-basierte VR-Brille ist das Google Cardboard, das nur aus Karton und zwei Linsen besteht und nur wenige Euro kostet.
Abstriche müssen dafür bei der Qualität gemacht werden: Während 360°-Videos problemlos abgespielt werden können, erlaubt die beschränkte Rechenpower von Smartphones noch keine sehr anspruchsvollen Anwendungen. Zudem ist im VR-Betrieb die Akkulaufzeit noch gering.
Die bekannteste Hardware am Markt ist zurzeit die Samsung Gear VR, welche bereits über 5 Millionen mal verkauft wurde – in der neuesten Version inklusive einem Controller.
VR via Desktop
Im Gegensatz zu den mobilen VR-Lösungen sind die sogenannten Desktop-HMDs auf einen externen Rechner angewiesen, welche das Headset via Kabel mit Bildern befeuert. Da es dabei meist um rechenintensive Anwendungen geht, sollte dieser Computer genügend Power bieten. Es liegt deshalb nahe, dass die führenden Grafikkartenhersteller Nvidia und AMD mit den neuesten Modellreihen auch VR-Unterstützung bieten.
Ein weiterer Unterschied zur mobilen Variante besteht darin, dass die Brille anhand von externen Sensoren im Raum getrackt wird. Es ist damit also möglich, Kopfbewegungen in die virtuelle Welt zu übertragen. Ausserdem kommen diese Systeme meist mit Controllern, um mit virtuellen Objekten interagieren zu können.
Betrachtet man den aktuell noch überschaubaren Markt der Desktop-HMDs, dominieren zurzeit drei Systeme. Als erste VR-Brille wurde die bereits erwähnte Rift der Facebook-Tochter Oculus veröffentlicht. Bereits im Jahr 2012 als «Developer Kit 1» Version, welche im Juli 2014 von der «DK2 abgelöst wurde, bevor im März 2016 die Consumer-Version erhältlich war.
Bereits im April darauf veröffentlichte HTC mit der Vive ihr eigenes System, welches in Zusammenarbeit mit der digitalen Distributionsplattform und dem Spielehersteller Steam entwickelt wurde.
Sony zog im Oktober 2016 mit der Playstation VR nach. Obwohl als letztes VR-System der drei veröffentlicht, sind die Verkaufszahlen der Playstation VR um einiges höher als diejenigen von HTC oder Oculus. Dies liegt nicht zuletzt daran, dass alle Besitzer einer Playstation 4 relativ einfach ihre Konsole in ein VR-System umbauen können.
Was bringt die Zukunft?
Der VR-Markt ist sehr schnelllebig und es vergeht kaum eine Woche ohne neue Ankündigungen. Dass zurzeit fast alle grossen IT-Unternehmen im Markt auf die Technologie setzen und Milliarden investieren, unterstreicht das immense Potential, welches von immersiven Technologien erwartet wird. Dies macht es aber auch schwierig, abschätzen zu können, wohin die Reise geht und wo wir in fünf Jahren stehen werden.
Dennoch kann davon ausgegangen werden, dass sich verschiedene Bereiche verbessern werden. Einerseits wird die Auflösung der Displays weiter zunehmen – so hat gerade kürzlich ein finnisches Startup angekündigt, Displays mit einer Auflösung von 70K produzieren zu wollen. Aktuell liegen die Auflösungen von VR-Brillen noch unter 3K. Die Prozessoren werden immer leistungsfähiger, die Latenzzeiten immer geringer. Dies ermöglicht immer realere virtuelle Welten.
Aber nebst der Grafik werden auch andere Sinne eine zunehmend wichtige Rolle spielen. So arbeiten verschiedene Anbieter nicht nur an Handschuhen, sondern auch an Ganzkörperanzügen, welche das Erfühlen der virtuellen Welt ermöglichen sollen. Im Zusammenspiel mit Voice Recognition und Machine Learning wird auch die Interaktion mit der virtuellen Welt immer natürlicher.
Nicht zuletzt wird Virtual Reality auch immer sozialer – insbesondere Facebook arbeitet mit Hochdruck an Social-VR-Anwendungen, bei denen man sich mit Freunden aus der ganzen Welt in virtuellen Räumen treffen kann. Ob wir in wenigen Jahrzehnten zwei Leben leben werden – eines in der realen Welt und eines im «Metaverse», wird sich zeigen. Es ist aber bereits 2017 eine spannende Zeit und sicherlich der richtige Moment, sich mit dieser wegweisenden Technologie auseinanderzusetzen. Denn Virtual Reality ist kein kurzlebiger Trend, sonder «the next major computing platform», wie Facebook-Gründer Mark Zuckerberg sagt.
Urs Langenegger
Urs Langenegger ist Co-Founder bei Bandara, dem führenden Virtual Reality Content Studio in der Schweiz. Bandara hat bereits über 40 VR-Projekte für Kunden aus allen Branchen umgesetzt und begleitet seine Kunden von der Konzeption über die Produktion bis hin zur Distribution von immersiven Inhalten.
