Wozu 3D, Virtuelle Realität, Virtual Reality, Augmented Reality?

Erste Spiele wie Beat Saber, Half Life Alyx, oder Demos wie Aircar oder die Google-Earth-VR-Version sind für 3D Virtual Reality geschrieben und bieten erstmalig einen klareren Ausblick auf kommende Technologie und Möglichkeiten bezüglich VR-Anwendungen. Microsoft hat mit dem FlightSimulator auch VR-Unterstützung angekündigt. Das ist der spielerische Teil. Im ECAD Bereich, der Teilekonstruktion, Schaltschrankbau wird schon länger mit VR und AR gearbeitet, aber die jeweiligen Geräte sind Nischenanwendungen, sehr teuer und oft auf besitmmte Anwendungen beschränkt oder optimiert.

Was bringt AR und VR? Mit der digitalen Industrialisierung verlagert sich die Konstruktion komplett in die digtale Welt. Durch die digitalen Zwillinge und dem Einsatz entsprechender Simulationsprogramme kann man Produkte vorab digital simulieren und testen. Das spart viel Zeit und Geld, auch wenn mit dem digitalen Equipment ebenfalls hohe Kosten entstehen. Seit Jahren wird AR in der Produktion hochgejubelt. Die Ergebnisse sind bisher 2020 eher ernüchternd. Die paar AR-Sehhilfen, oft aus der lokalen 3d-Bastelstube sind derzeit eher ein Gimmik, als echte Hilfe. Völlig unterschätzt wird meiner Meinung nach der Bildungssektor, bei dem sowohl der interaktive Teil "remote" unterstüzt werden kann, also auch die 3D-Szenarien eine optimierte Lernumgebung und Lernerfahrung ermöglichgen. Gerade in Corona-Pandemie-Zeiten wäre das ein echter Fortschritt.

Immersion

Was benötigt man, um ein realistisches Eintauchen in die Virtuelle Welt, eine gute Immersion zu ermöglichen? Was begrenzt die Technik und was begrenzt uns Menschen?
Biologische Einschränkungen definieren technischen Grenzen, also das was noch sinnvoll machbar ist. Das horizontale binokulare Gesichtsfeld (Field of View, FOV), der Bereich den wir mit beiden Augen sehen ist ca. 214°. Ein Auge (monkular) hat etwwa 120° horizontales Sichtfeld. Das vertikale Sichtfeld ist ca. 130°, davon + ~60°-70° und - ~70° - 80°. Unser binokulares räumliches Sehen (3D view, der Teil, den wir überlappend und damit stereoskopisch wahrnehmen) ist horizontal ca. 90°.

Die Randbedingung: Das ist statisches starres Sehen, gerade aus, so funktioniert unser Sehen natürlich nicht, wir können unsere Augen ja bewegen.

Dabei können wir 50° Abweichung nach rechts und links, sowie 60° nach unten und 45° nach oben sehen. Da die Augen parallel bewegt werden, ändert das am scharfen Bereich, in dem wir dreidimensional sehen können nichts. Aber wir verändern mit den Augenbewegungen die Stellen, an denen wir scharf sehen. Das hat Auswirkungen auf den Bereich, der für 3D Anwendungen in den Displays gerendert (berechnet) werden muss. Da wir unsere Augen bewegen können, erweitert sich der genannte statische Sichtbereich. So erhalten wir zusätzlich zu den 90° des horizontalen 3D-Sichtfelds Überlappung und 50° horizontaler Augenbewegung 140° und vertikal zu 60° Überlappung plus 105° Augenbewegung auf und ab auf 165° Überlappung des Sichtfelds der benötigten Displays.

Da unser Schärfe-Sehen auf zentrale Bereiche von etwa 90-100° eingeschränkt ist, benötigen wir in diesem bereich eine höhere Auflösung für eine bessere Immersion. Die Bereiche außerhalb des Schärfesehens können mit geringerer Auflösung angezeigt werden.

Dynamic Foveated Rendering, DFR und Eye-Tracking

Zurzeit haben wir 3D-Sichtgeräte mit maximal ~210° horizontale und ca. 130° vertikalem Sichtbereich (StarVR-Brille) oder ~200° FOV bei PIMAX 8KX mit jeweils 4K Displays per Auge. Grafikkarten tun sich schon mit 4K bei bester Auflösung schwer, um die dann auch noch schnell (140 Hz oder besser) anzeigen zu können. Da die Grafikleistung und die Auflösung derzeit (2020) noch stark limitiert ist (2* 4K Displays mit akzeptabler Framerate läßt die schnellsten Grafikkarten derzeit glühen), kann, statt alles gleichmäßig zu rendern und anzuzeigen, auch nur der Teil scharf und in maximaler Auflösung gerendert werden, auf den der Betrachter gerade sieht (Bereich des Scharfsehens). Das sorgt für eine Reduktion der erforderlichen Renderleistung. Verbleibende Resourcen der Grafikkarte sorgen für mehr Schärfe im gerade betrachteten Bereich und besserer Framerate. Dazu benötigt man eine Augenüberwachung, Eye-Tracking, mit der dann das VR-System messen kann, welcher Bereich gerade betrachtet wird und damit der schärfste Bereich sein muss. In diesem Bereich wird dann die vorhandene begrenzte Rechenleistung benutzt, um die höchste Auflösung dynamisch berechnet darzustellen (dynamic foveated rendering, DFR). Das schließt alle 3D VR/AR "Sniper"-Lösungen aus, wie z.B. die Hololens von Microsoft.

Farbsehen und maximale Auflösung.

Technisch sind wir in der Lage, mit Farbräumen zu arbeiten, die größer sind als das was unser Auge auflösen kann. Praktisch sieht das anders aus. Displays müssen tragbar sein, also nicht zu schwer sein. Verwendete LEDs (Backlights) haben derzeit leider meist nur 3 Farben. Die Farbtiefe (Auflösung in Bit pro Farbkanal) bestimmt, ob wir Farbverläufe noch wahrnehmen können, und wie realisitisch es wirkt. Technisch denkbar ist eine völlige Abdeckung des menschlichen Farbsehens. Ebenfalls kann der Bereich des schärfsten Sehens sicher mit technischen Mitteln völlig abgedeckt werden. zur Zeit (2020) ist das aber noch lange nicht der Fall.

Was haben wir zurzeit, ein Erfahrungsbericht mit der PIMAX 4K und 5k+

Beginnen wir mit einfachen Lösungen wie Smartphone-VR-Brillen. Da schiebt man sein Smartphone rein, und über eine spezielle Optik werden zwei Bereiche des Displays jeweils auf ein Auge über ein VR-App ausgegeben. Das sind kleine Sichtfelder von ca. 90-110° horizontal und etwa ebensoviel vertikal. Damit wird es erstmals möglich, überhaupt stereoskopisch 3D zu sehen. Begrenzte Auflösung, begrenzter Inhalt, begrenzte Bildwiderholrate. Begonnen hat es mit einem Tag der offenen Tür einer Firma, auf dem Handy-Brillen mit ein paar Demos gezeigt wurden. Schwups mal eine billige 3D-Brille für Handy gekauft und ein paar Demos angesehen. Gigantisch! Aber halt eher Kinderspielkram und TechDemos.

Nachdem mein 3D -Passiv-Fernseher kaput gegangen ist, wollte ich Ersatz kaufen. Derzeit gibt es keine 3D Passiv -Fernseher mehr zu kaufen. Mit den aktiven Shutter-Brillen habe ich bereits seit Anfang mit Voodoo 3D Grafikkarten und Röhrenmonitoren Erfahrung, die gefallen mir nicht. Ich suchte also nach einem Ersatz für die 3D-Filme, die ich hatte. Da stolperte ich über die sogenannten Video-Brillen. Moment, gibt es die auch für 3D mit kinoähnlicher Auflösung und Sichtfeld? Jein. Abseits von Profi-Lösungen blieb mir anno 2017 eine Chinesische Firma im Gedächtnis, PIMAX. Dann gab es einen Abverkauf von PIMAX 4K-Brillen für unter 300€, da habe ich dann zugeschlagen. Erstmals war es mir dann möglich, Filme in 3D anzusehen, 360° Videos, 3D-Demos und anderes Augenpulver zu genießen. FOV horizontal: 110 Grad, Auflösung: 3840 x 2160 (UHD). Das war anno 2017 schon mal was. Jedoch war die Software so dermaßen schlecht, dass der Filmgenuss stark getrübt wurde. Obwohl die Brille elektrisch funktionierte, wurde sie oft nicht erkannt, oder im falschen Betriebsmodus, so dass ein unbeschwerter Gebrauch unter damals Windows 7 ohne SteamVR nicht möglich war. Jedes Grafikkarten-Treiber-Update war ein Lottospiel, die Firmware und die Pi-Play Treibersoftware waren buggy buggy buggy.

Aktuell (2020) gibt es die HTC Vive mit Vive-Port, (von HTC, geschlossenes Ökosystem für HTC-Vive und Nachfolger, Vendor-Lock-In) Valve Index und SteamVR (von Valve, Spielehersteller, geschlossenes Ökosystem, Vendor-Lock-In) und OculusRift (von Facebook, geschlossenes Ökosystem, Vendor-Lock-In)  sowie die HP Reverb G2 (geschlossenes Ökosystem für HP Reverb und Nachfolger, Vendor-Lock-In). Erwähnenswert ist noch StarVR. Der Rest (Microsoft mit AR Hololens, Google Glasses, Varjo, etc.)  ist nicht erwähnenswert oder bereits wieder tot, oder nur im Profibereich einsetzbar.

Da ich bereits eine Hololens beruflich ausprobieren konnte, und auch ein Oculus in der 3D Achterbahn, sowie eine HTC Vive, hatte ich einen Eindruck davon, was ich eigenlich wollte.Es geht um den erreichbaren Grad der Immersion. Das bedeutet: Auflösung rauf, FOV so viel wie möglich, DFR wenn möglich.

Trotz meiner negativen Erlebnisse mit der Bananensoftware (Pi-Play) von PIMAX habe ich mich dann auf die PIMAX 5K+ eingelassen, und diese gebraucht gekauft. (Neu war die damals 2019 nicht zu haben). Leider war es damit nicht getan, man benötigt noch die 3D Sensoren und Aktoren. Ich habe mich für Steam Lighthouses mit den Vive Wands entschieden. Da die einzeln so viel wie ein ganzes Set kosten, habe ich ein HTC Vive-Set gebraucht günstiger gekauft. (Neu war die damals auch 2019 nicht zu haben). Wegen dem Screendoor Effekt und der kleinen FOV, habe ich die Vive nur sehr kurz ausprobiert, auch wenn die Farben brillianter waren, als bei PIMAX.

Die PIMAX 5K + wurde mit einer weiterentwickelten Pi-Tool-Software, nur für Windows 10 geliefert. Als Anwender kann man Steam nicht mehr vermeiden, ohne SteamVR geht es nicht mehr. Eine Kodi-Lösung wie unter der PIMAX 4K fehlt. Es gibt auch keinerlei Linux-Unterstützung, man ist an Windows 10 gebunden. Also habe ich zusammen mit Steam wieder Probleme mit Software wie VR Desktop und einem Großteil der Player-Software bekommen. Es gab keine PiTool-Probleme.
Ich möchte eigentlich einen makellosen, einfachen Player für 2D-, 3D- und 360 ° -Videos, aber je nach Dateityp und benötigten Codecs muss ich die Player-Apps wechseln. Z.B. können die Apps nicht alle mit Multi-Language mkvs oder MPEG4 umgehen, es fehlt schlicht der Umschalter für die Sprachauswahl und die Untertitel. Das liegt jetzt nicht an Pimax (na ja, fast, mir fehlt die native Kodi- oder VLC -Integration), sondern an Valve.
Außerdem ist ein HUD wie PIMAX 5K / 8K ohne Kopfgurt wie DAS / MAS nur schwer länger zu tragen. Also kaufte ich 3D-gedruckte Adapter und ein DAS von HTC.

Als Brillenträger bin ich aber benachteiligt, da die Optik nicht wirklich für Brillenträger geeignet ist, selbst für die Computer-Arbeitsplatzbrillen nicht wirklich. Ich brauchte eine zweite Auflage, um die Brille an eine akzeptable Sicht anzupassen. Also habe ich einige Ersatzeinsätze gekauft, natürlich nicht von PIMAX, weil sie nicht vorrätig sind. Ich habe einen Optiker gefragt, der optische Brillen-Adapter für Vive und Oculus herstellt, und er hat geantwortet, PIMAX 5K (die Optik und Geometrie) sei einfach nicht geeignet.

Fazit:
Aufgrund all dieser Nachteile kann ich die Brille nicht einmal meiner eigenen Familie empfehlen. Übrigens haben sie es versucht und die Brille nach kurzer Zeit abgelegt und sich geweigert, sie nochmals aufzusetzen.
Derzeit gibt es eine nur sehr kleine Zielgruppe für all diese vorhandenen 3D-Headsets. Eine PIMAX ohne Wands und ohne Lighthouse Sensoren taugt nichts. Das muss man dazu kaufen. Meistens separat. Außerdem muss man ein solches HUD erst einmal bestellen können. Schlechte Verfügbarkeit und Wartezeiten, nein Danke.

Was noch fehlt, sind die Valve Index Controller (Knuckles), mit Hand- und Finger-Erkennung, ein Hand-Tracking-Modul und ein Eye-Tracking Modul für FVR.

Aber, warum mich VR überzeugt hat.:

Einmal Aircar, BeatSaber, Alyx gespielt, und den Wow-Effekt erlebt? Filme im virtuellen Kino ansehen, egal ob 2D oder 3D und das toll finden? 3D-Videos und 360° Videos ansehen und einfach umdrehen? Klasse! Wenn Ja, dann ist VR was für Dich. Wenn nein, weil es Dir schlecht wird, oder Kopfschmerzen entstehen (MotionSicknes) etc. dann ist das halt so und die Immersion ist noch nicht ausreichend für Dich.

Wohin geht die Reise.

Ich glaube, dass wir AR und VR kombiniert benötigen und einen schnellen Wechsel der Funktionen dazu. Besonders für ungestörtes konzentrierte Arbeit ist VR mit voller Immersion  notwendig, und damit nicht nur für Spiele. Viele Anwendungen werden eine Mischung aus AR und VR benötigen. Das bedeutet für mich eine echte Mixed / Augmented Reality mit „Durchsicht“ anstelle einer reinen VR mit einem semi-Augmented Video Overlay vom Cam-System.

Aus meiner Sicht ist es unabdingbar, dass die Lösung entweder erlaubt, Brillen zu tragen, oder die Sehschwächen wie Kurz- oder Weitsichtigkeit in einem großen Bereich vollständig auszugleichen.

Weil AR auf transparenten Displays oder aktiver Einspielung auf einer transparenten Schicht beruht, werden wir zur Aktivierung der VR eine Shutter-Funktion, also eine aktive vollständige Abdunkelung benötigen. Das wird ähnlich wie Steampunk Brillen aussehen, mit automatischem Irisverschluss. Ich glaube, die Zukunft gehört den LEDs, OLED oder entsprechenden aktiven Nachfolgeprodukten. Da kann man bei Panasonic schon mal das Design ansehen.  Kombiniert man das mit 210° FOV und einem Varjo foveated rendering multidisplay und nimmt so etwas wie StarVR dazu, gemixt mit PIMAX, dann wäre die nächste Generation geboren. Diese solte leicht, kabellos, verzögerungsfrei und synchronisiert sein, ohne Ruckler oder Framedrops. Das wird jeden Monitor oder TV ersetzen, eine richtige Killeranwendung.

   
© Alle Rechte bleiben beim Autor!