Das Thema Head-Mounted Display verfolg ich schon seit vielen Jahren, in den Neunzigern war die Technologie noch nicht ausgereift. Aber mittlerweile stehen wir kurz davor, das ganze so umsetzen zu können wie man sich das damals erträumte. Man stelle sich ein komplett ausgefülltes Blickfeld vor und dazu HeadTracking a'la TrackIR. Kommt nächstes Jahr raus. Denkt ihr das hat Zukunft in der Flugsimulation?



Denkt ihr wird sich das fürs Simmen bewähren können? Was spricht dafür, was dagegen?

Guter Punkt, das mit dem Papier ist in der Tat etwas schwierig. Nur wie löst man das? Brille hochklappbar machen? Semi-transparent/hochklappbar? Weil speziell wenn man diese Technologie mit einem Leap Controller (siehe anderer Thread) kombiniert, könnte man sich doch alle Notizen direkt in der Simulation selber machen? Alles was es bräuchte wäre eine Art Notizblock Panel/Gauge wo man freihand drauf schreiben kann. Alternativ könnte man zb. bei Freigaben auch entweder Audio Repeat (wie das echte Garmin G1000) verwenden oder gar zu Speech2Text Technologien greifen?

Gäbe genug Lösungsansätze, die Frage ist immer ob das jeder praktikabel findet.

Also ich könnt mir vorstellen daß man die Rückwand der Brille hochklappen könnte um dann ein semi-transparentes Bild zu haben - Spielscreen zum durchschauen sozusagen. Damit wäre das Thema externe Peripherie und Notizblock eigentlich gut gelöst wie ich finde.

Und ja, einen Cursor braucht man nach wie vor, aber man spart sich den Griff zur Maus. Da der Treiber des Leaps zig Gesten zulässt die auch noch räumlich sind, könnte man auch hergehen und zb drehende Bewegungen mit dem Finger machen um einen Heading Bug zu verstellen etc. Nachdem ein Leap auch über einen Kompatibilitätsmodus Maus/Touchscreen simulieren kann brauchts auch nicht zwingend native Unterstützung von irgendwas. Klar, die taktile Komponente ist weg, aber solange es einen Cursor gibt find ich das nicht weiter tragisch. Und ich wette es wird auch in absehbarer Zeit der VR Handschuh fürs Spüren neu aufgelegt werden...

Neues von der Oculus Rift und eine Live Demo (vorspulen zu 19:20 bitte):



Developer Kit hab ich vorbestellt, Review was man damit im Flusi machen kann kommt wenn ich das Ding in Händen halte...

Der Vergleich mit der Sony HMZ hinkt ziemlich, weil das Ding eigentlich ein 3D Media Gerät ist. Der Unterschied zwischen der Sony und der Rift ist daß zweitere ein um welten größeres Sichtfeld hat, während die Sony sich im Grunde verhält wie ein Schirm der vor einem steht, sprich es gibt schwarze Ränder. Daß TrackIR momentan dem Oculus Tracking noch überlegen ist stimmt natürlich, weil es Positional Tracking kann und nicht nur Rotationen. Allerdings wird sich das bis zum Release noch ändern, die Rift bekommt das Feature auch (Accelerometer, Gyroskope und Magnetometer sind schon an Bord, man muss nur noch Algorithmen schreiben um aus den Beschleunigungswerten Positionsdaten ableiten zu können, ähnlich wie bei einem IRS eines Fliegers). Eine Rift wiegt dazu deutlich weniger als eine Sony (die aktuellen DevKits wiegen um die 240g).

Die Latenzen von TrackIR sind nicht nicht vorhanden, sie sind nur relativ niedrig. Die magische Grenze für "gleichzeitig" im Gehirn ieines Menschen ist je nach Exemplar zwischen 20 und 30 ms lang. Wir sprechen meist von "flüssig" ab ca 30fps, aber da zb ein Input erst beim nächsten Frame überhaupt mit berücksichtigt werden kann, bräuchte es schon mal 33 fps um überhaupt auf 30ms Maximallatenz zu kommen wenn ich alle anderen im System auftretenden Latenzen mit Null annehme. Es ist eine Sache ein Bild nicht mehr als ruckelig zu empfinden aber eine ganz andere Sache sind Input Latenzen, das macht dann dieses knackige Steuergefühl erst aus. Klar, beim Flugsimulieren ist man zumindest zivil mit relativ trägem Gerät unterwegs, da macht es nicht so viel aus. Bei Fightern sieht das schon etwas anders aus.

Handschuhe für taktiles Feedback wären auch noch ein Thema, allerdings nur als Feedback und nicht als Input, das Verarbeiten der Handbewegungen an sich werd ich mit einem Leap Motion Controller machen wenn ich ihn geliefert bekomme (ich schätze Ende erstes Quartal diesen Jahres).

Ich habe Erfahrung mit diversen HMDs (Sony, Vuzix, SiliconMicroDislplay) und bekomm ja eh ein Oculus Dev Kit. Ich kann dir nur schon von Eyefinity/Surround her sagen, daß für die Immersion das Thema FoV ein absolut essentielles ist.

Deine Lösung find ich nicht übel, ich hatte bis zur Ankündigung der Rift selbst vor mir ein solches Setup mit einer SMD ST1080 Brille zu bauen (die kann nämlich im Gegensatz zu Sonys HMZ FullHD) zu bauen, aber hab das dann ad acta gelegt. Die finale Rift Version wird womöglich sogar 1 oder 2 Kameras enthalten, damit man auf Knopfdruck sozuagen die Aussenwelt sehen kann, auch stereoskopisch. Oder ein kleines Stück Realität in einem Fenster als Overlay einblenden. Ich würd das also nicht als PR Geschwätz abtun, da ist mehr dahinter, man kann nur nicht in Massenmedien sinnvoll über die technischen Details solcher Systeme reden weil da einfach das Hintergrundwissen fehlt. Aber wir sind ohnehin noch weit davon entfernt daß VR so gut aussieht wie die Realität, allein die Auflösung müsste da ungefähr dem 8K Standard entsprechen (also etwa 33 Megapixel) und aufgrund der sinnvollen Latenzen müsste man solche Auflösungen mit mindestens 120fps rechnen können (60fps pro Auge), weil 60fps schon mal 16ms Latenz bedeuten. Und bis wir solche Grafikpower haben vergeht noch eine Weile, auch wenn die ersten 8K Displays bereits auftauchen. Nur sind die halt etwas zu groß um sie sich ins Gesicht zu schnallen.

Die 2 Monate werden auch vergehen, muss eh noch Rechner fertig modden, Heimkino bauen usw. Langweilig wird mir also nicht werden.

Momentan wird auf Brillenträger bei Oculus keine Rücksicht genommen, aber es ist angedacht für die fertige Version die Möglichkeit zu bieten Dioptrien direkt am Headset einzustellen, auch der Pupillenabstand sollte regelbar sein.


Falls Dir der Aktionsradius eines Leap Controllers zu klein ist, dann kannst Du mehrere aufstellen und sie wie 1 Gerät agieren lassen. Damit kann man sich praktisch unbegrenzt große Tracking-Bereiche bauen. Und die Auflösung von einem hundertstel Millimeter (ja, das ist kein Tippfehler, daß steht so im Vorab-Datenblatt) ist sicher höher als die des Handschuhs. 3 Leaps kosten immer noch ca die Hälfte des Handschuhs. 25Hz Sampling Rate sind gegen die 120Hz einer Leap Lösung auch etwas lahm. Wie gesagt, Latenzen...

Aber ja, zum Spielen wär das sicher was. Da ein Leap Controller sehr klein ist, könnte man den auch direkt am Headset anbringen und damit immer relativ zum Sichtfeld den Aktionsbereich bewegen (was im Grunde genau das ist was das Sichtfeld im FSX mit der Maus tut), damit sollte dann ohne großen Aufwand ein VC bedienen möglich werden. Anpassungen wird man dafür auch keine nennenswerten brauchen. Gesten für Links- und Rechtsklick, beide Richtungen des Mausrads und reicht auch schon.

Ja, die Kunstflieger sind natürlich auch sehr agil. Trotzdem kannst Du dir ja mal den Spaß machen und die Latenz oder zumindest etwas nachrechnen. Dividier eine Sekunde (1) durch deine Framerate, addiere dazu das womöglich im Netz recherchierbare Input Lag Deines Monitors und dann sieh Dir den Wert an. Mich würde es stark wundern wenn er weit unter 100ms liegt. Und das ist noch eine ganze Ecke bis 20-30ms. Man erkennt den Unterschied zwischen 50 und 100fps zwar nicht wenn man zusieht, aber man spürt es wenn man mit dem System interagiert. Klingt komisch, ist aber so.

Wie machst Du das 3D? Über den Grafiktreiber?

Das mit den Latenzen und Subjektivität ist zwar richtig, aber ich wage mal zu unterstellen Du hast noch nie was mit 120fps gespielt. Man merkt den Unterschied wirklich, wenn man das mal hatte will man es nicht mehr missen, der Unterschied ist größer als ich selbst je für möglich gehalten hatte.

Gibts etwas was Du in Deinem Setup gerne könntest aber nicht kannst?

Damit können wir dann auch Leute die unser Hobby bisher komisch fanden evtl dafür begeistern

Doom 3 BFG mit Rift Support wurde mittlerweile abgekündigt. Nativen Support gibt es derzeit nur in Team Fortress 2. Aber man kann sich einige Spiele auf kompatibel hinbiegen indem man DLLs ins Spieleverzeichnis lädt und so ein paar Sachen in den DirectX Renderer injected, ganz ähnlich wie es der ENB Mod macht. Da wäre einmal der Vireio Perception Treiber, damit bekommt man alle Source Engine Spiele (Half-Life Reihe, Portal, Dear Esther, Left4Dead) zum Laufen und auch ein paar andere wie Mirror's Edge.

Weiters sollte dieser Tage dann auch ein anderer Treiber ähnlicher Machart namens VorpX rauskommen der dann auch FSX unterstützen soll. Die gesamte Liste der geplanten Spiele für VorpX findet sich in deren FAQ.

Im DCS Forum gibts schon 2 Leute mit Rift, die sagen beide es ist ein unglaubliches Gefühl damit zu fliegen auch wenn die Verzerrung noch nicht wirklich korrigiert ist und die Auflösung noch etwas zu niedrig, so daß man sich mit der Lesbarkeit der Instrumente sehr schwer tut wenn man nicht mit dem Kopf näher rangeht (was derzeit nur über TrackIR geht, weil die Rift selbst nur Rotationen tracken kann, aber keine lateralen Verschiebungen, ist aber als Must-Have Feature für die Consumer Version geplant).

Idealer ist natürlich immer nativer Support vom Entwickler selbst, aber es gibt eben auch Mittel und Wege eine Kompatibilität zu älteren Titeln zu erreichen.

Und ja, 10h will man damit evtl nicht flusieren - aber wer sitzt schon 10h am Stück vorm Rechner ohne einmal aufzustehen weil man zb mal die Blase leeren muss?

Es gibt bereits die ersten halbwegs erfolgreichen Gehversuche im Rift Developer Forum beim Unterfangen den FSX damit zu betreiben!

Mehr dazu hier!

(Zu großes) Bild gibts hier!

Und hier eine frühe Version dessen was ich eigentlich vorhabe mit der Kombination aus Rift und Leap (nur daß ich wegen dem vergrösserten Bewegungsbereich 3 Leaps verwenden will):





(nein, die Videos sind nicht von mir, ich warte noch immer auf mein Rift Dev Kit)

Aber man sieht schon sehr genau, daß man einfach in der Gegend herumgreifen kann in die man schaut - wenn man damit jetzt noch durch kleine Fingergesten oder so eine Emulation von Maustasten und Mausrad hinbekommt, dann kann man im VC alles machen wie im echten Leben, es fehlt nur noch das haptische Feedback (und daran wird auch bereits fleissig gearbeitet).

Die aktuellsten Videos von der GDC von der Oculus Crew:












Noch technischere/nerdigere Abhandlungen über die Technologie hinter dem was es für VR braucht:

What we learned porting Team Fortress 2 to Virtual Reality von Joe Ludwig (Valve Software)

Why Virtual Reality is hard (and where it might be going) von Michael Abrash (Valve Software)

Und hier das erste funktionierende Rift Plugin für X-Plane: http://runway12.com/projects/XPlaneOculus/

Das Problem mit der noch niedrigen Auflösung wird auch gerade angegangen: Oculus zeigen auf der E3 gerade die ersten Prototypen mit 1080p Panels!

Alles vorhanden, ich hab eine Rift die in Kürze geliefert wird ("Processing" Status hab ich schon), Omni hab ich am ersten Tag auf Kickstarter gebacked und eine Delta 6 Controller für die Shooter krieg ich auch.

Leaps bekomm ich auch recht bald 3 Stück, Preorder auch seit ewig. Ich werde wie gesagt berichten. Zocken und virtuell fliegen wird langsam mit dem echten Gegenstück vergleichbar

Die heutigen realen Special Forces werden künftig vor Hardcore Gamern erzittern in Sachen Fitness!
Aber wenn es realistischer und auch anstrengender wird, umso ernster wird man Gaming im Mainstream als Sport nehmen. E-Sport wird also bald wirklich ein solcher...

So, laut UPS sollte meine Rift am Montag kommen, ich werde also im Lauf der nächsten Woche alle möglichen Tests übernehmen und kann dann auch alle Fragen aus erster Hand beantworten.

Das Motiv dahinter war eigentlich ein deutlich egoistischeres, ich bin einfach immer auf der Suche nach was zum Basteln und Forschen. Aber wenn dabei für die Community was gutes dabei rausschaut, umso besser. Auf jeden Fall vielen Dank für die Blumen!

Die Auflösung wird für komplexe Airliner wegen der Lesbarkeit der Cockpitanzeigen noch nicht ausreichen, aber ich denke konventionell instrumentierte Kleinflieger könnten sich durchaus ausgehen. Ich werde es testen.