Tag

Handtracking

Four Quest 2 Apps Making Use of Hand-tracking 2.0 Improvements

Alongside the announcement that Quest 2 is getting upgraded controllerless hand-tracking which improves robustness, Meta revealed that it had given select developers access to the tech ahead of time, some of which used it to directly improve their apps.

The new and improved Quest 2 hand-tracking is said to have begun rolling out this week. And some of the first developers to get access to the tech have shared their thoughts on the improvements and in some cases have even updated their apps to take advantage of the new system.

Unplugged: Air Guitar

Perhaps the most clear example of the improved Quest 2 hand-tracking leading to a better experience is with Unplugged: Air Guitar, a VR rhythm game which uses hand-tracking to give players a ‘real’ air guitar. The studio behind the game, Anotherway, said the improvements to hand-tracking were so significant that it was inspired to re-map some of its songs with added complexity, thanks to the improvements in tracking fast moving hands.

“The update to hand-tracking is a very big deal for us. Unplugged is a game that intensively uses hand-tracking for an authentic sense of air guitar gameplay. There are a lot of fast hand movements and rapid chord changes among others. Since the beginning, we wanted to make the players feel like they were playing actual air guitar. Even though we managed to achieve very solid and accurate gameplay using the older version of hand-tracking, we had to put some limitations on our gameplay. This needed to be done in order to provide a smooth experience that’s not interrupted by any issues that such a new technology might has from time to time,” the studio said in Meta’s announcement of the update to Quest 2’s hand-tracking. “With the latest update, hand-tracking is so accurate and responsive that we could include all the perks we couldn’t before: fast changes of finger positions, plus an increased and more realistic number of notes that makes the songs feel way more authentic.”

Cubism

While Unplugged: Air Guitar benefited greatly from the new system’s ability to more reliably track fast moving hands, VR puzzle game Cubism saw the most benefit from the increased robustness of hand-tracking when hands cross or cover each other.

“This update to hand-tracking is a big step forward in tracking quality and makes playing Cubism with hands feel a lot more stable and consistent. Previously, Cubism’s hand tracking relied on smoothing the hand data input to produce a stable input method. Furthermore, players needed to be taught not to cross their hands since this negatively affected tracking,” the game’s developer shared in the announcement. “This is all improved with the latest hand-tracking—which is consistent enough for me to turn off hand smoothing by default.”

Hand Physics Lab

Hand Physics Lab, another title that makes exclusive use of Quest 2 hand-tracking, also benefited from the improvements in robustness, especially given the way the game encourages using both hands near each other at the same time.

“This update to hand-tracking is a big step forward for natural and intuitive interactions with hands. One of the biggest challenges when building a hands-first application is the reliability and accuracy of hand tracking provided by the system,” the developer said. “Hand Physics Lab was designed to highlight what was possible at the time and to challenge the user to play with the limitations of the technology. With this big improvement, we hope more people will discover what hand tracking has to offer to immersive experiences.”

Liteboxer

VR fitness game Liteboxer is all about—you guessed it—boxing. Naturally that means hands flying quickly through the air… something the previous Quest 2 hand-tracking system wasn’t great at. With the improved system, Meta says Quest 2 is much better at keeping track of fast moving hands including situations where not all the fingers can be seen (like when making a fist!).

https://gfycat.com/ifr/mintyembarrassedibis

“The update to hand-tracking has definitely improved our ability to deliver a flawless workout experience for Liteboxer Users. Our workouts require a lot of quick punches to be thrown, and it’s imperative for hand-tracking to keep up with the rigorous pace,” said the developer. “We’re really happy with this latest update and excited about the overall direction hand-tracking is headed on the Quest platform.”

– – — – –

Hand-tracking on Quest has been reasonably functional from the start, but latency and reliability issues have left something to be desired. With the hand-tracking 2.0 update on Quest 2 it looks like Meta is taking a strong step forward to make hand-tracking more useful overall which will benefit all hand-tracking apps whether they make specific improvements to take advantage of it or not.

The hand-tracking update for Quest 2 is included with the v39 software which is slowly rolling out to headsets now.

Quelle:

Four Quest 2 Apps Making Use of Hand-tracking 2.0 Improvements

28. April 2022 0 comment

Hardware Knowledge

Manus Quantum Metaglove Demonstration – GDC 2022

Latest Manus VR Gloves Promise New Levels of Finger Tracking Accuracy

At GDC 2022 this week, VR glove creator Manus revealed its new Quantum Metagloves which the company says delivers significantly more accurate finger tracking than its prior solutions. Though priced for enterprise use, the company says it one day hopes to deliver the tech to consumers.

Manus has been building motion gloves for use in real-time VR and motion capture for years now, with prior offerings being based on IMU and flex-sensor tracking.

The company’s latest product, the Quantum Metagloves, moves to a new magnetic tracking approach which purportedly offers significantly more accurate finger tracking, especially when it comes to self-contact (ie: fingers touching other fingers or the palm of the hand).

Revealed at GDC 2022 for the first time, Manus showed off a demo of the Quantum Metagloves using a realistic real-time hand model that mirrored the wearer’s finger movements. Though the gloves are designed to work in conjunction with 6DOF tracking (via a SteamVR tracker or other motion tracking tech), the GDC demo didn’t employ 6DOF (which is why the visualization of the arm rotates in place). The latency reflected in this setup is also purportedly not representative of the actual tracking latency.

The Quantum Metagloves have a magnetic base positioned on the back of the palm while each finger has a module on the tip that is sensed within the magnetic field. Manus says this means the gloves can detect absolute finger length and width (once calibrated), which enables more accurate hand-tracking when combined with an underlying skeletal model of the hand that is scaled dynamically to the user.

In the video I asked the demonstrator to make a handful of different poses. Indeed, finger-to-finger and finger-to-palm contact looked impressive with no obvious clipping or stuttering. The company told me the demo wasn’t specially programmed to make clipping impossible and that the behavior was purely thanks to the positional data of the sensors which was described as “very clean” compared to alternative approaches to finger tracking.

Manus says the Quantum Metagloves are unique in this way, as other finger tracking technology tends to break down in these sorts of close-contact and self-contact scenarios, especially when both hands are near or touching each other. Even expensive optical tracking systems (with markers on the tips of each finger) can be foiled easily by self-occlusion or one hand occluding the other. Similarly, purely IMU-based finger tracking is prone to drift and requires regular recalibration.

But magnetic tracking is by no means perfect. In other magnetic tracking systems we’ve seen challenges with latency and electromagnetic interference.

Manus admitted that holding metallic or electronic items could throw off the tracking, but says it worked hard to ensure the gloves don’t interfere with each other; up to eight gloves can be active near each other without interference issues, the company says.

While self-contact looked generally quite good with the Quantum Metagloves, other poses didn’t fare quite as well—like a completely clenched first. The demonstrator suggested this would be improved easily with a more robust calibration process that included similar poses; whereas they say the calibration used for the demo at GDC was designed to be quick and easy for purposes of the show.

While the finger tracking did look great in many of the demos I saw, some of the other demo gloves on display showed much less accuracy. This was chalked up to “calibration,” though a big question for such systems is how much said calibration drifts over time and whether the periods between recalibration are practical for a given use-case.

In any case, use-cases will be deeply constrained by price; Manus says a pair of the Quantum Metagloves will cost $9,000, with pre-orders opening in April and shipments expected by the end of Q3. The company says it also plans to launch a haptic version of the Quantum Metagloves which will include per-finger haptics to enhance immersion in VR.

Manus maintains that it would like to bring its gloves to consumers one day, but says the number of custom parts and manufacturing makes it difficult to get the price down to a reasonable level.

Quelle:

Foto: Road to VR

Latest Manus VR Gloves Promise New Levels of Finger Tracking Accuracy

6. April 2022 0 comment

Knowledge Research

Meta Releases Hand Interaction & Tracked Keyboard SDKs For Quest

Meta just released a hand Interaction SDK and Tracked Keyboard SDK for its Quest VR headsets.

Interaction SDK

There are already interaction frameworks available on the Unity Asset Store, but Meta is today releasing its own free alternative as an “experimental” SDK. That “experimental “descriptor usually means developers can’t ship the SDK in Store or App Lab builds but Interaction SDK is an exception.

Interaction SDK supports both hands and controllers. The goal is to let developers easily add high quality hand interactions to VR apps instead of needing to reinvent the wheel.

The SDK supports:

Direct grabbing or distance grabbing of virtual objects, including “constrained objects like levers”. Objects can be resized or passed from hand to hand.
Custom grab poses so hands can be made to conform to the shape of virtual objects, including tooling that “makes it easy for you to build poses which can often be a labor intensive effort”.
Gesture detection including custom gestures based on finger curl and flexion.
2D UI elements for near-field floating interfaces and virtual touchscreens.
Pinch scrolling and selection for far-field interfaces similar to the Quest home interface.

Meta says Interaction SDK is already being used in Chess Club VR and ForeVR Darts, and claims the SDK “is more flexible than a traditional interaction framework—you can use just the pieces you need, and integrate them into your existing architecture”.

Tracked Keyboard SDK

Quest 2 is capable of tracking 2 keyboard models: Logitech K830 (US English) and Apple Magic Keyboard (US English). If you pair either keyboard using bluetooth it will show up as a 3D model in the home environment for 2D apps like Oculus Browser.

Tracked Keyboard SDK allows developers to bring this functionality to their own Unity apps or custom engines. Virtual keyboards are slower to type with and result in more errors, so this could open up new productivity use cases by making text input in VR practical.

The SDK was made available early to vSpatial, and has been used by Meta’s own Horizon Workrooms for months now.

Quelle:

Meta Releases Hand Interaction & Tracked Keyboard SDKs For Quest

9. Februar 2022 0 comment

Examples

Realistische Virtual-Reality-Interaktion: Mit Händen zu greifen

Eine neuartige Softwarelösung ermöglicht eine natürliche Virtual-Reality-Interaktion mit der Hand und ist nun für VR-Entwickler verfügbar.

Gleechi, Anbieter von Virtual-Reality-Lösungen, stellt die VirtualGrasp-Technologie vor.
Sie soll es Entwicklern ermöglichen, Virtual Reality-Interaktion mit der Hand in Virtual Reality-Anwendungen einzubinden.
Sie ist jetzt für Drittanbieter verfügbar.

Gleechi AB, Entwickler interaktiver Virtual Reality-Lösungen, gibt bekannt, dass VirtualGrasp ketzt für Entwickler von Drittanbietern verfügbar ist. Die hardwareunabhängige, reine Softwarelösung ermöglicht eine natürliche Interaktion mit der Hand und ist jetzt für Entwickler von Drittanbietern verfügbar. Somit lassen sich VR-Erlebnisse optimieren. VirtualGrasp basiert auf mehr als acht Jahren Forschung, zunächst auf dem Gebiet der Robotik, und mündet in ein umfassendes Angebot für Entwickler zur Schaffung natürlicherer Virtual-Reality-Interaktion.

VirtualGrasp nutzt eine Cloud-basierte, intelligente Engine, um ein Verständnis von Objekten und ihrer Greif- und Nutzungsmöglichkeiten zu entwickeln. Mit der Technologie sollen Entwickler viele Stunden manueller Arbeit einsparen können, um natürlich aussehende Griffe zu erstellen. Dabei ist die Erstellung von Griffen per Drag-and-Drop nahtlos in Workflows integriert.

Natürliche Virtual-Reality-Interaktion mit der Hand

Benutzer von VR-Anwendungen, die die VirtualGrasp-Technologie nutzen, erleben die Freiheit der natürlichen Interaktion mit der Hand. Das soll für ein immersiveres und fesselndes Erlebnis sorgen. Die Lösung hat in Benutzertests bewiesen, dass es das VR-Erlebnis für die Benutzer verbessert. So fühlen sich die virtuellen Hände um 45 Prozent realistischer an. Die Interaktion mit der VR-Umgebung haben die Nutzer zudem als um 42 Prozent natürlicher empfunden.

„Wir haben die Notwendigkeit eines besseren Interaktionsansatzes schon früh erkannt und eine Technologie entwickelt, die es Robotern ermöglicht, Objekte auf intelligente Weise zu greifen. Da Virtual Reality immer mehr an Bedeutung gewinnt, hat VirtualGrasp auf einer bewährten industriellen Grundlage aufgebaut und sich weiterentwickelt, um den Bedarf an einer natürlicheren Interaktion mit der Hand zu decken. Im Vergleich zu Hardwarelösungen auf dem Markt, die versuchen, die natürliche Interaktion mit der Hand durch genauere Finger-Tracking-Geräte zu erreichen, verfolgt VirtualGrasp einen völlig anderen Ansatz zum intelligenten Verständnis von Objekten. Dieser Ansatz ermöglicht eine natürlichere Interaktion mit der Hand und ist hardwareunabhängig. Somit sind Benutzer oder Entwickler nicht an bestimmte Sensoren oder VR-Controller-Hardware gebundend Ich freue mich, dass wir Entwicklern die Werkzeuge an die Hand geben können, um fesselndere VR-Erlebnisse zu entwickeln.“
Kai Hübner, Chief Technology Officer, Gleechi

Mechanismen der Interaktion nahtlos gestalten

„Wir glauben, dass die VirtualGrasp-Technologie eine wichtige Rolle bei der Bereitstellung immersiverer Virtual Reality-Erlebnisse spielen wird und die Vision unterstützt, dass VR eine Kernkomponente der nächsten Phase der Internetentwicklung sein wird. Die Art und Weise, wie wir mit den Anwendungen und Diensten interagieren, auf die wir täglich angewiesen sind, ist essenziell, und unser gemeinsames Ziel ist es, die Mechanismen der Interaktion nahtlos zu gestalten. Die Lösung macht keine Annahmen darüber, wie Interaktionen mit der Hand erfasst werden, sei es durch Controller oder andere Mittel. Sie ist zudem so konzipiert, dass sie den Benutzern ein natürliches und intuitives Erlebnis bietet, die Technologie damit transparent wird.“
Dan Song, Leiter der Abteilung Forschung und Entwicklung, Gleechi

Das VirtualGrasp SDK (Software Development Kit) ist im Rahmen des Gleechi-Frühzugangsprogramms erhältlich, man kann es hier anfordern: https://www.gleechi.com/virtualgrasp

Die Virtual Reality-Trainingsplattform von Gleechi nutzt die VirtualGrasp-Technologie, um eine natürliche Virtual-Reality-Interaktion zu ermöglichen. Diese vermittelt den Teilnehmern die Freiheit, durch die Praxis zu lernen, neue Fähigkeiten sicher zu entwickeln und zu üben, um sie dann in realen Abläufen und Verfahren anzuwenden. Unternehmen, die diese Plattform nutzen, können unter anderem ihre Reise- und Schulungskosten deutlich senken.

Quelle:

Foto: Gleechi

Realistische Virtual-Reality-Interaktion: Mit Händen zu greifen

Weitere Informationen: https://www.gleechi.com/

27. Januar 2022 0 comment

Knowledge Research

Die Hände werden zum Joystick: Ein findiger Schweizer Entwickler startet mit VR-Games international durch

Dennys Kuhnert kreiert Virtual-Reality-Spiele, für die man nur seine Finger braucht. Damit setzt er Millionen um.

Seit nunmehr fünfzig Jahren spielt die Menschheit Videospiele, und seit ebenso vielen Jahren spielt sie mit Controllern. Ob mit Joystick, Maus und Tastatur, Gamepad oder Smartphone: Stets haben Spieler etwas in Händen, womit sie spielen.

Nicht so in Dennys Kuhnerts Virtual-Reality-Game. Der 31-jährige Schweizer Entwickler erfand eine neue Art von Spiel, in dem die eigenen Hände zu Controllern werden. Und landete damit einen Hit, der Millionen umsetzt: Das Game mit Namen «Hand Physics Lab» setzte seit Erscheinen vor sechs Monaten mehr als 200000 Einheiten ab. «Wir sind überrascht, wie gut es sich verkauft hat und auch jetzt noch weit über unseren Erwartungen verkauft», sagt Kuhnert.

Hand Physics Lab bietet eine magische Spielerfahrung, da man mit den eigenen Händen statt Controllern interagiert. Das Interaktionsschema hat immense Vorteile: Die Hände hat man immer bei sich, und man muss nicht erst lernen, wie man sie gebraucht. Beides habe zum Erfolg beigetragen, meint Kuhnert, der Wow-Faktor und die Zugänglichkeit des Spiels.

Die Wahrnehmung mit virtuellen Fingern austricksen

Der gebürtige Lausanner studierte an der EPFL Neuro- und Biotechnik, eine relativ neue Studienrichtung an der Schnittstelle von Medizin und Ingenieurwesen, die mit Spielentwicklung nicht viel zu tun hat. «Ich liebe Technik, aber ich hatte auch schon immer eine kreative Ader. Ich wollte die beiden Dinge verbinden», sagt der junge Ingenieur.

In der um 2016 aufkommenden Virtual-Reality-Technologie sah Kuhnert das ideale Gefäss für seine Kreativität. VR-Brillen, die ihre Nutzer komplett in künstliche Welten versetzen konnten: Das faszinierte den jungen Mann. «In Virtual Reality kannst du alles bauen, was du dir nur vorstellen kannst, und es fühlt sich real an», sagt Kuhnert. Zwei Jahre nach Abschluss seiner Ausbildung gründet er zusammen mit einem Studienkollegen das Start-up Holonautic, mit dem Ziel, VR-Spiele zu entwickeln.

Das erste erscheint 2019 – und bringt kaum Geld ein. Was keine Überraschung ist: Die wenige Jahre zuvor gehypten VR-Brillen sind wegen schwacher Nachfrage auf dem besten Weg, in der Versenkung zu verschwinden. Doch 2020 beginnt sich das Blatt für Virtual Reality zu wenden.

Mit der Oculus Quest 2 bringt Facebook eine VR-Brille auf den Markt, die leistungsfähig, erschwinglich und einfach in der Handhabe ist. Laut Schätzungen konnte das Unternehmen im ersten Jahr acht Millionen Geräte verkaufen – ein Gamechanger für die VR-Industrie.

Eine Besonderheit der Oculus Quest 2 ist, dass sie über integrierte Kameras Hände und Finger erfasst und mit Hilfe künstlicher Intelligenz in die VR-Simulation überträgt. «Handtracking» heisst die Technologie in der Fachsprache. Sie begeistert Kuhnert, weil sie seine Interessen im Bereich der Neurotechnik berührt. «Ich wollte herausfinden, wie stark man die Wahrnehmung mit virtuellen Händen und Fingern austricksen kann», sagt Kuhnert.

Jenga spielen, einen Safe knacken und ein bisschen Jedi-Ritter sein

Er beginnt zu experimentieren, und Monate später wird aus dem Forschungsprojekt eine Demo, die Zehntausende VR-Spieler in den Bann zieht. Kuhnert erkennt das Potenzial und entschliesst sich, aus der Idee ein richtiges Spiel zu machen. Dann gelingt ihm etwas, das nur wenige Studios schaffen: Holonautic darf das VR-Game im streng kuratierten App Store der Oculus Quest 2 veröffentlichen.

Im April 2021 erscheint das fertige Spiel endlich. Darin müssen Spieler eine Vielzahl Geschicklichkeitsaufgaben und Rätsel lösen: Jenga-Steine entfernen, ohne dass der Turm in sich zusammenfällt, mit Werkzeugen hantieren, einen Safe knacken oder wie ein Jedi-Ritter per Telekinese Objekte bewegen – all das mit den eigenen Händen.

Eine ausgefeilte Physik-Simulation sorgt dafür, dass die Interaktionen nicht nur echt wirken, sondern sich auch so anfühlen. Berührt man mit der virtuellen Hand ein virtuelles Objekt, so wird visuell ein Widerstand simuliert. Der wiederum gaukelt dem Hirn eine taktile Erfahrung vor, auch wenn man in Wirklichkeit nur Luft zwischen den Fingern hat: ein erstaunlicher Effekt, der zeigt, wie das Hirn Wahrnehmungslücken füllt, um eine möglichst schlüssige «Realität» zu schaffen.

Auch die Gesundheitsbranche will die Technologie nutzen

Kein anderes VR-Spiel setzt so stark und keines so gekonnt auf Handtracking. Das innovative Game setzte binnen kürzester Zeit über 2 Millionen Franken um. «Für ein Schweizer Indie-Studio ist das mehr als nur ein Achtungserfolg, gerade in der VR-Nische», sagt Oliver Miescher, der im Rahmen der Pro-Helvetia-Initiative Swiss Games seit vielen Jahren die unabhängige Schweizer Entwicklerszene begleitet und betreut.

Holonautic ist nicht das einzige VR-Studio, das dank Oculus Quest 2 erste Erfolge feiert. Ausserdem lässt Facebook-Chef Mark Zuckerberg kaum eine Gelegenheit aus, zu betonen, wie sehr er an die Zukunft von Virtual Reality glaubt. Bereits seit 2014 gehört Oculus zu Facebook.

Das heisst nicht, dass Virtual Reality im Mainstream angekommen ist. Viele Menschen wollen keine VR-Brillen tragen, und das dürfte noch lange so bleiben. Kuhnert glaubt, dass die Technologie den Durchbruch erst dann erleben wird, wenn sie für alltägliche Dinge oder für kreative Zwecke und Arbeit eingesetzt wird.

Dass Virtual Reality mehr als nur ein neues Spielemedium ist, weiss Holonautic am besten: Das Start-up kann sich vor Aufträgen aus der Industrie kaum retten. Es bietet Handtracking-Schulungen für Angestellte von Microsoft und Samsung und entwickelt mit Unternehmen der Gesundheitsbranche Handtracking-Apps. Die könnten zum Beispiel Patienten mit neuronalen Schäden helfen, Kontrolle über ihre Hände wiederzuerlangen. Für den Neurotechniker Kuhnert schliesst sich damit der Kreis.

Quelle:

https://www.tagblatt.ch/leben/digital/erfolgsgeschichte-die-haende-werden-zum-joystick-ein-findiger-schweizer-entwickler-startet-mit-vr-games-international-durch-ld.2207489

Foto: Der Schweizer Dennys Kuhnert hat mit seinem VR-Spiel Millionen umgesetzt. Der Clou: Mit den realen Händen müssen virtuelle Geschicklichkeitsprüfungen gemeistert werden.

4. November 2021 0 comment

Knowledge Software/Apps

Hand Physics Lab Adds Accessibility Options, 120 Hz Mode Planned

Hand Physics Lab now includes a number of accessibility options, including a colorblind mode and the ability to map finger movements to other fingers.

The finger mapping feature should make the game playable for people who have a finger-related disability. The game is one of the few available on Oculus Quest that’s entirely playable with either Oculus Touch controllers or hand tracking. I reviewed the game when it debuted in April and, while it is held back by the quality of Oculus Quest’s cameras, Facebook has since released an update for Quest 2 enabling developers to increase the quality of the hand tracking for the newer headset.

Dennys Kuhnert, the co-founder of Holonautic and creator of the game, already added the high frequency hand tracking to Hand Physics Lab and is also planning to support 120 Hz experimental frame rate as well in a coming update. In the current version of the game, you can set the refresh rate to 72, 80, or 90 Hz on Quest 2.

Kuhnert says the game sold more than 100,000 copies in the six weeks after release, meaning that the $9.99 title made more than $1 million in gross revenue before Facebook took its cut of sales. An early experimental version of the title hit SideQuest last year and he wrote via direct message that its sales on the Oculus Store were “honestly not expected. I started this as a side project in 2020 just for fun with zero expectations. This will allow the studio to grow and work on new exciting projects.”

“After 5 months of experimenting and building the first prototype of Hand Physics Lab, I just wanted to have it out there and get feedback from the VR community to improve it further. Combining fully physics-based interactions with the experimental hand tracking from the Quest (quite unstable a year ago, it improved a lot since) was a big challenge and many things could go wrong,” he wrote. “It was important to minimize the barrier of entry and have safety systems in place to handle bad tracking events for the players. Shane Harris and his platform SideQuest were a big help to help reach a bigger community and basically validate the concept. The platform is really great and allowed many experimental VR concepts like Hand Physics Lab and others to quickly reach a large audience and get valuable feedback to make the experience better!”

Facebook’s head of VR and AR Andrew Bosworth says the company is pursuing an “Oculus Quest Pro” that won’t release this year but is likely to add more powerful sensing abilities to the Quest line of headsets. Facebook CEO Mark Zuckerberg has expressed interest in future headsets including face and eye tracking, and we’d expect Facebook to improve the quality of hand tracking in future hardware as well. Consulting Oculus CTO John Carmack recently commented that Facebook is on a “multi-year path to phasing [physical controllers] away as a core feature, where we want to be able to have a controller -free SKU in the future where we rely just on hand tracking.”

Hand Physics Lab is available on the Oculus Quest Store.

Quelle:

https://uploadvr.com/hand-physics-lab-accessibility/

31. Mai 2021 0 comment

Knowledge Research

‘Hand Physics Lab’ Review – Putting the Fun in Frustration

Hand Physics Lab is all about hand-tracking, and this over 80-level game aims to throw you head first into a whimsical series of seemingly simple tasks. Quest can offer mixed results when it comes to hand-tracking fidelity though, so if you’re not careful, it can be extremely frustrating for all the wrong reasons.

Gameplay

Messing around with hand-tracking is really fun the first couple times you try it, and seeing my twiddling fingers represented in VR really served up some of the first ‘wow’ moments for me. Despite the promise of controller-less interactions, hand-tracking on Quest hasn’t been adopted by game developers across the board for a few reasons, a major one being that it offers lower fidelity input in comparison to Touch.

Note: If you haven’t given hand-tracking a spin on either Quest headset, you just need regular indoor lighting for optimal results. I found closing my shades and turning on all my interior lights provided adequate tracking. Still, it’s not uncommon to see your virtual hands completely wig out, or not track all of your fingers correctly—it just doesn’t feature the rock-solid tracking and button inputs of Touch.

Because Hand Physics Lab has virtualized your hands into physics-based objects, it’s less about directly interacting with objects and more about carefully miming actions and piloting a pair of decidedly much less capable limbs. It feels a bit like playing Surgeon Simulator at times, except the fidelity of input is constantly changing. It’s hard to predict when hand-tracking will fail and that lightbulb you tried to screw in for the past five minutes gets launched into the stratosphere.

Hand-tracking funkiness is an Oculus problem, but Hand Physics Lab seems to be leaning into it with mixed results. Even in the best case, this is the level of jitter you should expect. Keep an eye on the left hand as the fingers and whole hand pulse. In the worst case, your hand won’t work. Like at all. https://gfycat.com/ifr/altruisticpiercingarrowana

Ok, so maybe it’s comically difficult by design because the hand-tracking control scheme isn’t precise. Hand Physics Lab also offers Touch controls, but that feels a bit like cheating because it lowers the skill ceiling so low that it’s not really even worth playing at that point. The creator assumes you’ll want to play with hand-tracking, so I did.

And like Surgeon Simulator, it definitely results in some madcap things like getting your virtual arm stuck in a tube while your physical hand moves through space unimpeded. When it’s working well enough it can be really fun, but when you’re not sure why hand-tracking is failing and it just does, playing the game can feel like trying to punch someone in your dreams. Totally ineffectual for no discernible reason.

Image courtesy Dennys Kuhnert, Holonautic

In Hand Physics Lab you run through about 80 tasks, most of which are regular things even chimps are expected to be able to do: Press these buttons. Sort these colored blocks. Stack these colored blocks. Paint these eggs different colors. And although only some that can be considered puzzles as such, there are a few really interesting tasks in the bunch that take some patience and attention to accomplish, like having to snatch target blocks out of a tumble dryer, or using a sort of grip-based telepathy to guide blocks through a series of tubes.

After completing the final sequential task, I was pretty much done with Hand Physics Lab though. Its more of a quirky, bright smorgasbord of tech demo stuff than a full-featured game as such. I say that full-well knowing that there’s actually a fair bit of content here; you play sequential levels to earn stars in order to unlock sandbox activities.

Putting hand funkiness aside, I wished offered bigger and better puzzles. There was a glimmer of some really interesting tasks that very briefly ramped up to real puzzle territory, and I would have loved to see those teased out more.

Immersion

At risk of repeating myself, I’ll put it this way: hand-tracking funkiness really inhibits the promise of this game. If hand-tracking on Quest were hypothetically rock solid, and this game intentionally made it tremble and wig out for comedic effect, you might appraise it differently.

Anyway, I typically would play around 10 minutes at a time, but after playing for an hour straight, I got extremely frustrated with the game (read: ~~I rage quit~~ I tactically regrouped) and I had to write down my immediate impressions:

I feel like I have a wasting disease writing this. I just played Hand Physics Lab for an hour straight, and now my hands feel like weak meat puppets.
I’m having to concentrate very hard to coordinate my hands to type this correctly, and my arms feel extra heavy and useless.

The game had screwed with my proprioception, or the sense that you know where your limbs are at any given time without looking at them. More accurately, I was actually experiencing a ‘body transfer illusion’, which can be replicated by hiding a person’s hand from sight and replacing it with a fake one. Stroking both the fake hand and the subject’s real hand with a feather actually creates something called ‘proprioceptive drift’, which essentially makes the person feel like the rubber hand is their actual hand.

https://gfycat.com/ifr/illbetterkiwi

Because I was so intently staring at my virtualized hands the entire time, which don’t move perfectly in concert with my physical hands, I had actually internalized that my hands had become less effective at fine coordination tasks like typing or picking things up afterwards when I left the headset. Revisiting the game for shorter periods made this less apparent, but it’s safe to say I won’t be playing for extended sessions anytime soon. I took a break after that, and my arms eventually felt normal again, which was a relief.

Smaller bites and slower, more intentional movement can lessen this, but just don’t go in expecting to interact normally.

Comfort

Hand Physics Lab can be played seated, standing, and allows for a variable amount space. Besides the intensely weird body illusion stuff, it ranks among the most comfortable VR experiences since all locomotion is physical and not artificial such as smooth turning, snap-turning, or teleporting.

Quelle:

‘Hand Physics Lab’ Review – Putting the Fun in Frustration

5. April 2021 0 comment

Knowledge Research

Virtuelle Realität für den Alltag funktioniert mit Fingertippen

Beim Tippen bringt jeder Finger das Handgelenk anders zum Vibrieren. Diese Erkenntnis nutzen ETH-Forschende für ein Sensorarmband, das freihändiges, intuitives Arbeiten im virtuellen Raum ermöglicht.

Virtual-Reality-Technologien dringen in immer mehr Bereiche vor. Von der Pilotenausbildung im Flugsimulator über räumliche Studien etwa in der Architektur bis hin zu immer lebensechteren Videospielen: Die Simulation von Umgebungen, gekoppelt mit Technologien wie VR-Brillen, bietet schier unbegrenzte Möglichkeiten. Im Alltag werden VR-Systeme jedoch noch nicht viel genutzt. «Mit VR werden heute vornehmlich Inhalte konsumiert. Gerade bei produktiven Tätigkeiten, etwa bei klassischen Büroarbeiten, haben sich die Technologien noch nicht etabliert», meint Christian Holz, Professor am Institut für intelligente interaktive Systeme an der ETH Zürich. Dabei bestünde auch hier grosses Potenzial: Inhalte sind nicht mehr an einen Bildschirm gebunden, Nutzerinnen und Nutzer können dreidimensional, hochflexibel und intuitiv mit den Händen agieren.

Jeder Finger vibriert anders

Was bremst diese Entwicklung? Christian Holz sieht das zentrale Problem bei der Interaktion zwischen Mensch und Technologie. So werden die meisten VR-Anwendungen heute entweder mit Controllern bedient, die in der Hand getragen werden, oder mit den Händen in der Luft, deren Position per Kamera erfasst wird. Meistens stehen die Nutzerinnen und Nutzer zudem beim Bedienen. «Wenn man die Arme immer hochhalten muss, wird das schnell ermüdend», meint Holz, «Ein normaler Arbeitsprozess, also die Interaktion mit dem System über mehrere Stunden, ist so nicht denkbar.» Ein weiteres Problem ergibt sich etwa beim Tippen auf einer virtuellen Tastatur. Die Finger bewegen sich dabei nur gering, und Kameras können die Bewegung in der Tiefe nicht so genau erfassen, wie eine mechanische Tastatur das kann. Zudem fehlt bei der Bedienung in der Luft das gewohnte haptische Feedback. Für das Team von Forschenden um Christian Holz ist deshalb klar, dass für eine sinnvolle produktive Nutzung von VR passive Oberflächen weiterhin wichtig sind. Das kann die klassische Tischplatte sein, aber auch eine Wand oder der eigene Körper. Um diese optimal zu nutzen, entwickelten sie ein Sensorikprinzip namens «TapID», welches sie an der Konferenz IEEE VR Ende März präsentieren werden. Das Prinzip basiert auf mehreren Beschleunigungssensoren am Handgelenk, die in ein normales Gummiarmband eingebettet sind. Diese registrieren, wenn die Hand eine Oberfläche berührt und welcher Finger benutzt wird. Die Forschenden fanden heraus, dass ihr neuartiges Sensordesign winzige Unterschiede im Vibrationsprofil am Handgelenk auflösen kann, die jeder Finger charakteristisch verschieden bei einer Bewegung auslöst. Eine eigens entwickelte Machine-Learning-Pipeline verarbeitet dabei die gemessenen Daten in Echtzeit. In Kombination mit dem Kamerasystem einer VR-Brille, welches die Position der Hände erfasst, wird so eine äusserst exakte Eingabe möglich. Die Forschenden demonstrieren das in einigen Anwendungen, die sie für ihre Entwicklung programmiert haben, etwa einer virtuellen Tastatur und einem Klavier (siehe Video).

Virtuelles Klavierspiel mit der Smartwatch

Das virtuelle Klavier eigne sich besonders gut, um die Vorzüge von TapID aufzuzeigen, so Holz: «Hier ist nicht nur räumliche Genauigkeit, sondern auch das Timing essenziell. Der Zeitpunkt der Tastenberührung muss so genau wie möglich erfasst werden. Das gelingt mit den Sensoren am Handgelenk deutlich besser und genauer als mit einer Kamera.» Die relativ simple Technologie, auf der das System aufbaut, bietet viele Vorteile. So dürfte ein solches Armband in der Herstellung nur wenige Franken kosten. Das Forschungsteam hat ihr System ausserdem mit bestehenden Technologien getestet: In einer technischen Evaluation mit 18 Teilnehmenden konnten sie zeigen, dass das Prinzip nicht nur mit den eigens konstruierten Elektronik im Armband zuverlässig funktioniert, sondern auch mit Fitness-Armbändern und Smartwatches von etablierten Anbietern, die mit Trägheitssensoren ausgestattet sind. Mit Blick in die Zukunft möchten die Forschenden daran arbeiten, das Prinzip mit noch mehr Testpersonen zu verfeinern und weitere Anwendungen zu entwickeln. Ein weiterer Punkt, den Christian Holz sieht, ist die sogenannte Mobile Virtuelle Realität: «Unsere Sensorik ist so tragbar, dass wir VR in Zukunft auch unterwegs nutzen könnten. Mit TapID kann man Anwendungen auf der eigenen Hand oder den Oberschenkeln bedienen – überall und jederzeit.» Informatikprofessor Holz sieht die Zukunft der virtuellen Realität darin, unabhängig von der physischen Position zusammenarbeiten zu können – nicht durch Hardware eingeschränkt, sondern so, als wäre man im selben Raum. «TapID könnte ein wichtiger Schritt in diese Richtung sein», schliesst Christian Holz und wird mit seinem Team um Manuel Meier, Paul Streli und Andreas Fender weiter daran forschen.

Quelle:

Hinweis: Dieser Artikel wurde von Leo Herrmann verfasst und ist zuerst bei «ETH-News» erschienen.

Foto:

https://www.computerworld.ch/technik/forschung/virtuelle-realitaet-alltag-funktioniert-fingertippen-2646254.html

«TapID» ermöglicht eine äusserst exakte, freihändige Eingabe im virtuellen Raum (Quelle: Siplab / ETH Zurich)

26. März 2021 0 comment

Hardware Knowledge

TapID Uses Bone Conduction To Deliver A Better Typing Experience In VR

Could this wearable device solve the headache that is typing in VR?

You can do some pretty amazing things in VR. Unfortunately, typing is not one of them. Currently, entering your password and username or typing out a message in VR means awkwardly selecting keys using your motion controllers. Developers have explored potential solutions in the past, such as Google Daydream’s ultra-fun Drum Keys or Logitech’s VR compatible keyboards. There’s always voice-to-text, but that can be frustrating on a completely different level.

To bring a more organic and natural typing experience into VR, a group of researchers from the Department of Computer Science at ETH Zürich, Switzerland have developed a set of wristbands called TapID that—when combined with hand tracking—allows you to “feel” the keys of your virtual keyboard as you type.

Similar to the Apple Watch or Fitbit, TapID is worn around the users wrist. Unlike current smartwatches such as the Apple Watch and Fitbit, the TapID system is composed of two identicle devices worn on both wrists simultaneously. Each device features two accelerometer sensors built into the flexible strap. Those sensors are used to detect the rapid touch of your fingertips hitting a physical flat surface to provide haptic feedback as you type out words on a virtual keyboard.

TapID also uses touch input through a machine learning classifier to determine which one of your fingers is actually making the tapping motion. This ensures more accurate tracking while in VR. It doesn’t matter if you are a “touch typer” capable of typing 200 words per minute or if you “hunt and peck” at 37 words per minute, the TapID can easily track all types and speeds.

**Image Credit: ETH Sensing, Interaction & Perception Lab**

TapID offers four types of interactions in VR:

Document Editing

This is a simple keyboard that allows you to create documents using tools such as Microsoft Word and PowerPoint. You can also summon arrow keys with your left pinky finger for cursor control. This makes tasks such as cutting and pasting incredibly simple. This can be especially useful when performing Google searches or entering the URL of a website into a browser.

Photo Sorting

TapID lets you spin an image around clockwise or counterclockwise simply by tapping a directional key. You can also move an image or document to a different location on your virtual desk by putting your hand down on the item you want to move and sliding your hand anywhere on the virtual surface.

Number Input

You are able to open a virtual numeric keypad widget to type in numbers using all five fingers on one hand. It’s basically a calculator in VR, but instead of aiming your controllers at numbers and then pulling the trigger to enter the numeric value, you can simply enter them by hand.

Piano

This is a virtual piano app designed to show how TapID’s precise tapping input and passive haptic feedback—when combined with the visual effects provided by VR—can be used to simulate virtual instruments while maintaining the exact beat of your tapping input.

TapID also supports interaction through physical body taps, giving you the ability to tap or swipe your forearm to rotate, enlarge, and shrink a 3D virtual object that you’re holding in your hand. This opens up a lot of possibilities for users down the road, from VR design and menu interaction to brightness and volume control.

To see just how effective TapID could be in a virtual environment, the research team recruited 18 participants to test their wristband technology. In the end, TapID produced convincing accuracies for tap detection and finger identification in all four of the above-mentioned categories.

TapID is currently unavailable to the general public. According to the team, the device is more of an experimental project rather than a consumer-focused product, so don’t expect to get your hands on these next-gen wristbands anytime soon.

If you’d like to know more about TapID, you can access a recently published research paper breaking down their results in detail.

Quelle:

TapID Uses Bone Conduction To Deliver A Better Typing Experience In VR

Feature Image Credit: ETH Sensing, Interaction & Perception Lab

23. März 2021 0 comment

Examples

Oculus ‘First Steps’ Now Works With Quest Hand-Tracking

‘First Steps With Hand Tracking’ and ‘Tiny Castle’ are available now via the Oculus App Lab.

It was back in 2019 that Facebook first began rolling out support for hand tracking on the Oculus Quest. Using the headsets’ built-in cameras, players could for the first time ditch the Touch controllers and interact with VR content using their bare hands.

Since its release, however, we’ve seen little use of the feature beyond a few minor tech demos designed to showcase potential gameplay mechanics. Several existing titles, such as the VR fantasy magic game Waltz of the Wizards, have experimented with hand tracking support, though we’ve yet to see the technology really take flight on standalone headsets.

Today, Facebook released two free App Lab demos on the Oculus Quest and Oculus Quest 2 designed to show developers the many possibilities afforded by built-in hand-tracking functionality.

A rerelease of the companies original introductory experience, First Steps lets new players get a feel for their VR environment, allowing them to interact with a variety of objects in order to help better acquaint them with the Touch controllers. You can play table tennis, operate a remote control blimp, smack a tetherball around, fondle some cubes, or perform the cha-cha-cha with a robot dance partner.

First Steps With Hand Tracking offers the same experience, only instead of interacting with the in-game world via your Touch controllers, you instead use your own two hands. Trying it out for myself, I found the interactions to be wonky. The tracking quality is hit-or-miss and you often have to close the entirety of your hand in order to pick up certain objects, which can kill the immersion depending on the shape and size of the item. This is an App Lab release, however, so bugs are to be expected.

In addition to First Steps With Hand Tracking, you can also check out Tiny Castles, another free demo for the Oculus Quest and Oculus Quest 2 designed to showcase the capabilities of hand tracking. In this VR puzzle adventure, players take on the role of a powerful god tasked with using their incredible abilities to free their believers and destroy the “obelisk,” thus ridding the world of evil. Along the way, players will need to overcome a variety of unique challenges using their bare hands, from solving complex puzzles and operating ancient machinery to battling a variety of miniature enemies.

“Included is the “Playground” level which is the best place to experience all of the game mechanics in an isolated setting while the actual game levels demonstrate these mechanics in real game scenarios,” states the official game description.

Both First Steps With Hand Tracking and Tiny Castles are available now for free via the App Lab.

Quelle:

Oculus ‘First Steps’ Now Works With Quest Hand-Tracking

Feature Image Credit: Oculus

13. März 2021 0 comment