EyeTracking und warum es so wichtig für VR ist

Hoto

Legende
Thread Starter
Mitglied seit
18.04.2009
Beiträge
6.485
Ort
Aincrad
So, da ich gerade wieder mal einen Kommentar lesen musste, bei dem nicht klar war was EyeTracking überhaupt soll und das doch völlig unnütz wäre, dachte ich mir ein extra Thread mit einer "kurzen" Erklärung wäre mal nötig. Also genug der Einleitung.


EyeTracking und warum es so wichtig für VR ist


Die Technik bringt 3 essentiell wichtige Dinge mit in die VR Welt:

  • reduzierte nötige Hardware Leistung
  • echtes 3D Sehen
  • mehr Präsenz


1. Foveated Rendering


Durch diese Technik wird immer nur der Bereich in vollen Details berechnet, der unser menschliches Auge am schärfsten sehen kann, also der mittlere Bereich. Zum Rand hin können unsere Augen immer weniger scharf sehen, alles wird immer mehr verschwommener und muss daher auch nicht in vollen Details gerendert werden. Hiermit lässt sich massiv Leistung einsparen in dem der Randbereich einfach in geringerer Auflösung berechnet wird.

Dank Foveated Rendering läuft VR somit auch auf Hardware mit deutlich geringerer Leistung bzw. kann die eingesparte Leistung auch für bessere Grafik genutzt werden. Und eben auch um höher aufgelöste Displays in der VR Brille überhaupt schnell genug mit Inhalten füllen zu können.


2. Echtes 3D Sehen


Bei den jetzigen VR Brillen ist es so, dass das Auge immer auf eine bestimmte Entfernung hin fokussiert ist, so wie das auch bei 3D im Kino der Fall ist, bei vielen löst das Augenschmerzen oder gar Kopfweh aus, denn egal wie weit ein Objekt von uns entfernt ist, unsere Augen bleiben immer auf die gleiche Entfernung fokussiert und das ist nun mal nicht normal und damit kein echtes 3D Sehen.

Durch EyeTracking weiß die Software aber wohin wir sehen und weiß somit auch die Entfernung dieses Punktes zu uns und kann damit das 3D dynamisch so anpassen, dass der Fokus der Augen sich wie bei normalen Sehen anpassen kann. Das entspannt die Augen und es fühlt sich noch realer an, trägt also durchaus auch zur Präsenz bei, in erster Linie aber um ein nicht gerade harmloses Problem von VR zu beseitigen, denn das jetzige 3D könnte unter Umständen die Augen schädigen.


3. Mehr Präsenz


Ein kleines Vorwort: Das Ziel von VR ist ja nicht einfach nur mehr Immersion zu erleben sondern Präsenz zu erreichen. Analog könnte man sagen es ist nicht das Ziel schneller zu fliegen sondern die Schallmauer zu durchbrechen. Sprich während es wenig und viel Immersion gibt, gibt es nur Präsenz oder nicht Präsenz, den letzteres ist keine Variable wie Immersion.

Gerade weil es keine Variable ist, kann Präsenz bei der aktuellem Stand der VR Technik sehr leicht zerstört werden, so das wir nur Immersion erleben. Das vorweg warum Präsenz und warum dieser Punkt so wichtig ist. Wer einmal mit VR echte Präsenz erlebt hat, der kennt den Unterschied sehr genau und das ist eine echt intensive Erfahrung, so intensiv, dass sie Viele auch am Anfang als beängstigend wahr nehmen.


EyeTracking ermöglicht schlicht und einfach, dass der Entwickler immer genau weiß wo der Spieler hinsieht und dies kann er für alle möglichen Dinge nutzen, zum einen um seine Story zu erzählen ohne das dem Spieler etwas entgeht. Ohne EyeTracking kann es passieren das gerade etwas passiert, der Spieler es aber verpasst, weil er gerade was ganz anderes anvisiert hat. Headtracking ist da allein zu ungenau um zu wissen wo der Spieler gerade tatsächlich hin guckt, unsere Augen sind nun mal nicht starr.

Auch NPCs können viel natürlicher gestaltet werden, wenn man weiß worauf die Augen gerade gerichtet sind. Zum Beispiel könnten sie auf direkten Blickkontakt mit dem Spieler reagieren oder ein Shop NPC könnte darauf reagieren, das ein Spieler einen Gegenstand besonders lange ansieht im Vergleich zu den Anderen. Teilweise sind das Dinge, die wir selbst gar nicht bewusst wahr nehmen, und gerade deshalb können sie eine viel intensivere und vor allem persönlichere VR Erfahrung schaffen.


Fazit: keiner dieser 3 Punkte ist ohne EyeTracking umsetzbar und darum ist es eine derart wichtig Technik, dass sie sehr wahrscheinlich bereits in der zweiten VR Brillen Generation zum Standard werden wird. Es bringt nur Vorteile für Entwickler und Nutzer.


Quelle u.a.: Virtual Reality Eyetracking: NVIDIA und SMI zeigen Foveated Rendering - VR∙Nerds
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
sehr interessantes thema!

alle punkte klingen sehr logisch und in der tat wichtig für die zukunft von VR und AR! performacesteigerungen sind immer gefragt und die erhöhte immersion könnte wirklich zu einer neuen ebene im spiel werden! vorallem in story lastigen spielen ein großes plus!

ich erninnere mich zu gerne an Silent Hill: Shattered Memories auf der Wii...da änderten sich teile des spiels, wenn man zb. in einer bar lange auf die schnaps-flaschen im regal guckte, oder der begleiterin auf die brüste oder den po uvm.! da habe ich zum ersten mal in einem spiel echte "präsenz" gespürt :)!

Diese FOVE brille soll das ja schon unterstützen...technische daten und preis scheinen auch gut zu sein bei dem gerät, aber wieder die typischen probleme: trotz ankündigung für Mai 2016 noch nicht verfügbar (zumindest in DE!?) und keinen hinweis auf der seite zur SteamVR unterstützung!
 
Zuletzt bearbeitet:
FOVE soll glaub Ende des Jahres nun kommen und das Problem von SteamVR ist glaube ich, dass es schlicht noch kein EyeTracking unterstützt, weiß aber nicht ob sie es dennoch für Spiele unterstützen, die nicht für EyeTracking ausgelegt sind.

Bei der FOVE bin ich mir einfach unsicher, zum einen bietet sie sonst nur das gleiche Level der Technik wie Vive und Rift, zum anderen wird es schwierig Entwickler zu finden, die EyeTracking bei der FOVE bereits groß unterstützen, es ist eben eine kleine Firma ohne die Marktmacht wie Oculus oder HTC. Daher bin ich mir unsicher ob FOVE so überhaupt eine Chance am Markt haben wird, das einzig positive an ihr ist eben EyeTracking. Und wenn Oculus und HTC mit EyeTracking kommen, dann mit der zweiten Generation, die garantiert dann auch eine höhere Auflösung hat und andere Kinderkrankheiten beseitigt und dann hinkt die FOVE bereits hinterher.

Dennoch verfolge ich die FOVE seit deren Kickstarter Kampagne.
 
Ich verfolge FOVE ebenfalls seit dem KS, glaube aber, dass sie zu klein sind, um sich erfolgreich durchzusetzen.
Oculus und Valve (ich sage Valve, denn HTC verwendet nur deren Technologie, wer weiß, wer Valves nächstes HMD baut) befassen sich mit Sicherheit mit Eyetracking.
Für mich stellt sich nur die Frage, ob Eye tracking mit Gen 2 oder erst Gen3 kommt.
 
Jain, die Hardware kommt von HTC, die haben auch die VR Brille entwickelt, was von Valve stammt ist der Software Part. Valve steckt da also nicht wirklich so stark drin wie viele User immer glauben, darum heißt es ja auch HTC Vive und nicht Valve Vive oder Steam Vive. Valve wollte ja selbst keine VR Brille bringen, darum wollten sie ja ursprünglich eng mit Oculus zusammen arbeiten, aber dann kam ihnen Facebook in die Quere und dadurch kamen HTC und Valve überhaupt erst zusammen.

Ich denke EyeTracking kommt mit der zweiten Gen, sieh dir meine Punkte oben an, die sind zu wichtig um VR vorwärts zu bringen um es sich leisten zu können mit EyeTracking erst in der dritten Gen anzukommen. Und EyeTracking in VR Brillen gibt es ja schon, das ist keine Technik die noch nicht reif genug wäre um sie in VR Brillen zu verbauen.

Ich wäre jedenfalls echt stark verwundert, wenn die zweite Gen ohne ist.
 
Zuletzt bearbeitet:
Jain, die Hardware kommt von HTC, die haben auch die VR Brille entwickelt, was von Valve stammt ist der Software Part. Valve steckt da also nicht wirklich so stark drin wie viele User immer glauben, darum heißt es ja auch HTC Vive und nicht Valve Vive oder Steam Vive. Valve wollte ja selbst keine VR Brille bringen, darum wollten sie ja ursprünglich eng mit Oculus zusammen arbeiten, aber dann kam ihnen Facebook in die Quere und dadurch kamen HTC und Valve überhaupt erst zusammen.

Ich denke EyeTracking kommt mit der zweiten Gen, sieh dir meine Punkte oben an, die sind zu wichtig um VR vorwärts zu bringen um es sich leisten zu können mit EyeTracking erst in der dritten Gen anzukommen. Und EyeTracking in VR Brillen gibt es ja schon, das ist keine Technik die noch nicht reif genug wäre um sie in VR Brillen zu verbauen.

Ich wäre jedenfalls echt stark verwundert, wenn die zweite Gen ohne ist.

Alles, was es so schwierig macht, eine gute VR Brille zu bauen, kommt von Valve:
Tracking (Lighthouse)
Software um das ganze mit niedriger Latenz darzustellen

Alles was das Vive kann, gab es bereits als Valve Prototyp.

Was bringt HTC an den Tisch: Die Kompetenz dies mit entsprechender Qualität zusammen zu bauen und vor allem in entsprechender Zahl weltweit an den Mann zu bringen. Das darf man nicht unterschätzen. Oculus ist daran trotz 2 Milliarden von Facebook gescheitert.

HTC verbaut die von Valve entwickelte Tracking technologie in HMD und Controller. Die Displays kommen von Samsung.
Die Rechte für das Tracking liegen bei Valve.

Es spricht absolut nichts dagegen, dass eine Firma wie z.B. LG ein HMD mit Lighthouse Tracking bauen könnte, wenn Valve dies möchte.

Tracking und low latency sind das Problem, den Rest können schon die Chinesen (siehe unzählige neue China HMDs mit z.T. 4k Displays).
 
Alles, was es so schwierig macht, eine gute VR Brille zu bauen, kommt von Valve:
Tracking (Lighthouse)
Software um das ganze mit niedriger Latenz darzustellen

Alles was das Vive kann, gab es bereits als Valve Prototyp.

Was bringt HTC an den Tisch: Die Kompetenz dies mit entsprechender Qualität zusammen zu bauen und vor allem in entsprechender Zahl weltweit an den Mann zu bringen. Das darf man nicht unterschätzen. Oculus ist daran trotz 2 Milliarden von Facebook gescheitert.

HTC verbaut die von Valve entwickelte Tracking technologie in HMD und Controller. Die Displays kommen von Samsung.
Die Rechte für das Tracking liegen bei Valve.
Ich hab ein bisschen etwas anderes gelesen, kann aber sein das diese Aussage damals im Grunde das bedeutete: von HTC kommt zwar die ganze Hardware und Valve kümmert sich nur noch um den Software Part, aber die Hardware Technologie selbst ist von Valve. Meines Wissens nach soll HTC aber bereits selbst an VR geforscht haben bevor sich das mit Valve ergab, weil Oculus raus war.

Es spricht absolut nichts dagegen, dass eine Firma wie z.B. LG ein HMD mit Lighthouse Tracking bauen könnte, wenn Valve dies möchte.

Tracking und low latency sind das Problem, den Rest können schon die Chinesen (siehe unzählige neue China HMDs mit z.T. 4k Displays).
Die Frage ist ob Lighthouse nun allein Valve gehört oder ob HTC da ein Mitspracherecht hat, aber ich weiß das Lighthouse auch anderen Herstellern angeboten wird. Die FOVE Entwickler spielten eine Zeit lang mit dem Gedanken Lighthouse zu benutzen, weil sie damals noch kein Positional Tracking System hatten, am Ende haben sie sich aber für eine IR Kamera Lösung wie sie Oculus hat entschieden, vermutlich als sie die Lighthouse Preise auf dem Tisch hatten. ;)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh