Tag

SDK

Meta Avatars SDK Update Improves Graphics & Finally Adds Legs

The publicly available Meta Avatars SDK finally includes legs.

In the past Meta’s VR avatars faced widespread ridicule on social media and in tech circles for their upper-body-only appearance.

In August Meta added legs to the Meta Avatars in the Quest home environment, and in September legs arrived in its Horizon Worlds „metaverse“ platform too. But the publicly available Meta Avatars SDK used by third-party apps such as GOLF+ and Eleven Table Tennis wasn’t updated to add legs, until now.

Version 24 is the first new release of the Meta Avatars SDK in almost six months. As well as adding legs, it improves the graphics quality of avatars and makes the SDK available on the Unity Asset Store.

Those graphics improvements include „more lifelike eye glints“ and „more detailed hair and clothing with normal map textures“. And thanks to new optimizations such as the Compute Skinner, Meta claims the improvements come at no performance cost.Meta Avatars graphics before (left) and after (right).

We’ve reached out to the developers of GOLF+ and Eleven Table Tennis to ask if they plan to add legs to their games soon, but given we’re well into the holiday period now don’t expect work on this to begin until the new year.

Quelle:

https://www.uploadvr.com/meta-avatar-sdk-gets-legs/

2. Januar 2024 0 comment

Knowledge Software/Apps

What is Meta’s Insight SDK? Quest gets Revolutionary New MR Capabilities

New mixed reality opportunity for Meta Quest developers

Amid all the hoopla around augmented and virtual reality (AR/VR), the potential of mixed reality (MR) is often ignored. When in fact, mixed reality has the power to engage with users in more meaningful, organic, and possibly more natural ways than AR/VR.

Research suggests that MR coupled with AR can increase customer confidence when shopping and 71% would react favourably to these tools. By 2026, the combined MR and AR market will be worth around $104 billion globally.

This is probably why Facebook (now Meta) has paid attention to MR opportunities during its recent pivot around the upcoming metaverse offering.

Its popular Quest VR experience will soon feature MR and persistent digital objects superimposed onto the real world, alongside pure-play virtual reality apps.

MR for Quest is still in the works and development efforts will be aided by Meta’s recently launched Insight SDK.

Defining Insight SDK: Part of the Presence Platform

At Facebook Connect 2021, the company announced a number of significant moves, including its new branding as Meta, new VR products, and the Presence Platform for developers.

The Presence Platform will equip Facebook’s developer community with the tools they need to build VR worlds and their many components.

Almost like the Apple Developer program or the Google Play Console, the Presence Platform will be a one-stop solution for anyone doing VR for Meta.

The Insight SDK (along with other software development kits) is part of the Presence Platform.

Meta’s Insight SDK can be defined as a software development kit that will allow Quest developers to build mixed reality user experiences with an authentic sense of presence in terms of persistent objects, colour recreation, scene awareness, and scale measurements, while also ensuring they are indexable and queryable.

In other words, Insight SDK will help bring MR scenarios to life with a verisimilitude not possible before and at a fraction of the development effort. Underlying all of this is Meta’s proprietary machine perception and artificial intelligence IP.

Key Features of Meta’s Insight SDK

Using Insight SDK, developers will be able to gain from the following capabilities:

1. General availability of Passthrough API

Meta launched an experimental version of the Passthrough API that would allow developers to insert black-and-white images from the VR headset’s sensors into an MR experience.

In addition, to this foundational capability, developers can also add effects, manipulate the image’s appearance, and even create scenarios where virtual assets are superimposed on top of real-world surroundings.

With the new Insight SDK, Passthrough exits the experimental mode to become generally available.

2. Spatial Anchors Experimental

This is a brand new capability introduced at Connect 2021. Spatial anchors refer to “world-locked frames of reference” that let you position virtual objects in physical surroundings in a persistent manner.

Simply put, when a Quest user places a virtual object on a real-world surface and logs off, the object will be waiting in the same position next time they log in. Spatial Anchors can be created at six degrees of freedom (6DOF) angles, with tracking and history retrieval capabilities.

3. A new Scene Understanding feature

Scene understanding is what makes AR and MR feel real to the user. To take a simple example, a Snapchat filter knows exactly how your facial features are arranged so that it can position a hat, a wig, or animal ears accordingly.

It allows the digital environment to assess the physical surroundings to build links and provide scene-aware experiences. Meta’s Insight SDK has a new scene understanding feature, which includes several advanced tools within it.

4. Scene Model for room design to scale

Scene model is among the sub-capabilities under Meta’s Scene Understanding. Scene Model will automatically assess a user’s surrounding space to provide you with a geometrically and semantically accurate representation.

As a result, you can scale MR experiences and virtual rooms down to the T, and attach objects with realistic occlusion – i.e., the phenomena where parts of a virtual object are hidden or overlapped by physical objects to create a realistic sense of depth.

5. System-guided Scene Capture

This feature is designed to save developers a massive amount of effort and time. The prebuilt Scene Capture capability will allow users to walk about wearing VR headsets and capture the physical environment around them.

Again, Scene Capture is part of scene understanding in Insight SDK – together with Scene Models, it will help recreate MR representations of the physical world.

6. Data privacy considerations

At the very outset, Meta had announced that it would respect user privacy and build a responsible metaverse. To that end, the Insight SDK is careful to not rely on personally identifiable data or confidential developer/user information.

Developers can use Insight SDK’s components to create MR experiences without having to use any raw videos or image data collected via Quest sensors.

What Are the Other SDK Offerings Available?

Insight SDK is only one part of the Presence Platform for Quest developers. Along with this, Meta will provide:

Interaction SDK – for hands and controller-centric interactions
Tracked Keyboard SDK – VR keyboard for typing in the metaverse
Voice SDK – an experimental SDK for natural language, hands-free navigation

Some of these features and SDKs are available in experimental versions, while others are in GA already – some, like Scene Understanding, will be launched in experimental mode next year.

Using Meta’s Insight SDK to Build the Metaverse

One of the key traits of the metaverse as outlined at Connect is decentralisation. This means that no one company or individual will control or enable it.

Offerings like Insight SDK democratise development for the metaverse, providing VR designers and software engineers with an easy ramp-up to commercialisation. On the other hand, Insight SDK and other components of the Presence Platform are still tied to the Quest platform.

It remains to be seen whether Meta’s Insight SDK could power wider, cross-technology development with Facebook’s impressive machine perception and AI tools at their core.

Insight SDK will be launched with a complete set of capabilities in 2022.

Quelle:

What is Meta’s Insight SDK? Quest gets Revolutionary New MR Capabilities

20. Dezember 2021 0 comment

Knowledge Software/Apps

“The time to embrace OpenXR is now”

A couple of months ago I took a VR Development course in which I got my first glimpse of OpenXR.

What is OpenXR?

Khronos Group launched OpenXR 1.0 last July 2019. OpenXR is an API (Application Programming Interface) that provides high-performance access to XR platforms and devices. Is the interface between an application and an in-process or out-of-process “XR runtime system”.It enables applications and engines, including WebXR, to run on any system that exposes the OpenXR APIs. With this, developers can focus on one build of their VR title and it will ‘just work’ across the entire PC VR ecosystem.

What is Khronos group?

Khronos® Group, is an open consortium of industry-leading companies creating graphics and compute interoperability standards.

Industry Support for OpenXR

The standard is seeing broad support by a wide selection of industry companies and devices including Microsoft’s Mixed Reality headsets, HoloLens 2, Rift, SteamVR, and Quest, as well as Qualcomm, Google, Epic Games, Arm, Tobii, Ultraleap, and Varjo. In addition, Blender integrated OpenXR, and Google’s Chromium uses it to support WebXR, allowing Chrome and Edge browsers to interface with compatible headsets.

Microsoft has openly embraced and encouraged open-source APIs like OpenXR, they have released its OpenXR Samples for Mixed Reality Developers as open-source, demonstrating how to use OpenXR to access the full capabilities of HoloLens 2.

Facebook has released their OpenXR Mobile SDK which includes the resources necessary to use the OpenXR API for native development of VR apps for Oculus Quest and Oculus Quest 2.

Google released Chromium 81 with OpenXR as its default backend for WebXR, enabling Google Chrome and Microsoft Edge browsers to use any OpenXR-compatible hardware.

Ultraleap has released a developer preview OpenXR integration for its hand-tracking technology for Ultraleap tracking devices.

Valve has released a developer preview implementation of OpenXR 1.0 with new features on SteamVR expected to now appear through OpenXR.

Varjo’s developer preview implementation of OpenXR enables the use of OpenXR applications with Varjo headsets.

The free and open-source 3D creation suite, Blender 2.83, has integrated OpenXR to deliver native VR scene inspection capabilities.

Open XR 1.0 is compatible with Unity Editor version 2020.2+. The plug-in is in Preview and works with any device that supports conformant PC-based OpenXR runtimes. Unity’s mission is to make it as easy as possible for developers to take their content to the platforms they want. With Unity’s OpenXR plug-in, developers can target any conformant OpenXR device/runtime. As more vendors adopt OpenXR, developers will be able to reach a wider range of devices.

Conclusion

Extended reality (XR), is an emerging technology from all immersive technologies, including augmented reality, virtual reality, mixed reality, and others. Companies like Facebook, Microsoft, Magic Leap, and others, have XR headsets, and they have platforms that are relatively mature at this point. And OpenXR enables XR games and applications to target the widest range of hardware with maximum performance.

But still, most of these companies do not have the security and cloud infrastructure to truly compete with what Microsoft has built with their Azure Mixed Reality cloud.

Amazon has the security and cloud experience to potentially offer something competitive, Amazon Sumerian does not yet have the kind of cohesion that Microsoft’s platform does. Furthermore, it operates more like a game engine than a platform, and Amazon doesn’t have any XR headsets in the market, yet.

Unity states that the only platforms that have already been fully tested and are the first officially supported are Windows Mixed Reality and HoloLens 2.

The future of Open XR is now and from my point of view, and not because I am a Microsoft MVP, is that Microsoft already has cloud services to support this emerging technology, so they have a path already conquered. It remains to be seen which is the path that Apple will take, I would like to read your point of view.

quelle:

https://www.linkedin.com/pulse/time-embrace-openxr-now-ivana-tilca/

23. April 2021 0 comment

Knowledge Software/Apps

Metallkonstruktion in Virtual Reality

Demonstration der VDK-Software mit Snappen unterschiedlicher Bauteile, stufenlosem Skalieren und Licht- wie auch Schattensimulation in Echtzeit.

Der am Basler Hyperwerk mitentwickelte Virtual Design Kit (VDK) will es Menschen und Unternehmen einfacher machen, Metallkonstruktionen selbst zu entwerfen und lokal zu produzieren.

Unser Diplomprojekt erforscht, wie sich selbst entworfene Blechkonstruktionen mit Virtual Reality realisieren lassen. Mit dem Virtual Design Kit (VDK) können Blechkonstruktionen in ‹Virtual Reality› entworfen und realisiert werden. Sein Benutzer verwendet einen virtuellen Baukasten und entwirft im ‹Drag and Drop›-Verfahren. Die Anwendung berechnet laufend die zweidimensionale Abwicklung für den Lasercutter. Der erste Prototyp ist darauf ausgerichtet, Lampen zu erstellen oder Blechkonstruktionen mit Licht auszustatten. Wir möchten es Menschen und Unternehmen einfacher machen, selbst entworfene und lokal produzierte Metallkonstruktionen zu realisieren. Indem wir den Nutzer in den Gestaltungs- und den Realisationsprozess einbeziehen, erhoffen wir uns ein nachhaltigeres Konsumverhalten zwischen Nutzer und Produkt.

Im VDK konstruiert der Benutzer im virtuellen Raum mit vordefinierten Bauteilen, die sich bei einer Überlappung magnetisch aneinanderfügen. Er braucht keine Vorkenntnisse und kann seinen Konstruktionsprozess direkt vor sich mitverfolgen. Über ein Menü wählt er per Controller unterschiedliche Bauteile aus und fügt sie der Konstruktion hinzu. Er kann die Teile beliebig arrangieren, trennen oder löschen.

Die Abwicklung der Konstruktion wird laufend berechnet. Weil die Anwendung Überlappungsfehler erkennt, kann sich der User ganz auf den Entwurf konzentrieren. Der Benutzer kann die Abwicklung direkt aus dem virtuellen Umfeld exportieren und an einen Lasercutter oder ein lokales Laserschneid-Unternehmen schicken. Von dort erhält er das geschnittene Blechstück zurück und kann es von Hand biegen und zusammensetzen.

Die fortschreitende Digitalisierung und die Entwicklung der Technik zeigen, dass sich der Metallbau in naher Zukunft stark verändern wird. Computergesteuerte Maschinen verändern die herkömmlichen Arbeitsprozesse. Die Aufgabe des Menschen wird hauptsächlich darin bestehen, mittels CAD und 3-D-Modellierungssoftware die Daten für die Produktion zu erstellen. Diese Anwendungen haben eine steile Lernkurve und erfordern einen enormen Zeitaufwand, um sie zu meistern. ‹Virtual Reality› bietet die Möglichkeit, mit gewohnten Bewegungen Befehle auszuführen und realitätsgetreu mit virtuellen Objekten zu interagieren. Dies beschleunigt den Lernfortschritt und Gestaltungsprozesse erheblich. Die dreidimensionale Visualisierung im Raum bringt neue Gestaltungsmethoden und unterstützt Entscheidungen in einem Designprozess. Lösungen können besser entworfen, erarbeitet und kommuniziert werden.

Quelle:

https://www.hochparterre.ch/campus/blog/post/detail/metallkonstruktion-in-virtual-reality/1559030725/

7. Juni 2019 0 comment

Examples

So nutzt Audi Virtual Reality in der Ausbildung / Audi entwickelt Baukastenlösung für VR-Trainings

So nutzt Audi Virtual Reality in der Ausbildung – 20 verschiedene Trainingsvarianten

Mit dem sogenannten Virtual Reality Software Development Kit gestalten IT-erfahrene Trainer bei Audi künftig die Inhalte ihrer Trainingseinheiten selbst. Bislang war dies nur Programmierern möglich. Das beanspruchte viel Zeit. Eine Baukastenlösung aus der Audi-Markenlogistik ändert das.

Um virtuelle Trainings künftig möglichst vielen Mitarbeitern zugänglich zu machen, hat ein fünfköpfiges Team aus verschiedenen Geschäftsbereichen jetzt ein Virtual Reality Software Development Kit (SDK) konzipiert – eine Art Baukasten zum Erstellen von Virtual-Reality-Trainings.

Mit diesem können künftig auch IT-erfahrene Trainer ohne Programmieraufwand eigenständig VR-Trainings zusammenstellen. Anhand von rund 20 Standard-Prozessschritten wie „Bauteil aus Behälter entnehmen“, „Schrauben befestigen“ oder „Teil im Fahrzeug verbauen“ lassen sich damit verschiedene Trainingsabläufe kombinieren.

„Mit Hilfe einer einfach zu bedienenden Menüführung wählt der Trainer künftig die gewünschten Arbeitsschritte aus und fügt sie zusammen“, erklärt Projektleiter Mirko Göres aus der Audi‑Markenlogistik. Das Arbeiten direkt im Programmcode entfällt.

Arbeitsplatz virtuell detailgetreu nachgebildet

Auszubildende aus der Ingolstädter Werklogistik trainieren nach diesem virtuellen Baukastenprinzip seit kurzem im Trainingscenter das sogenannte Pick-by-light-Verfahren. Dabei zeigt beim Kommissionieren von Bauteilen ein Lichtsignal dem Mitarbeiter die benötigten Artikel und ihre Menge direkt am jeweiligen Entnahmefach an.

Für das neue VR-Training hat der Autobauer einen typischen Arbeitsplatz virtuell detailgetreu nachgebildet. Dank einer besonders hochauflösenden 3D-Brille auf dem Kopf und zwei Controllern in den Händen kann sich der Auszubildende darin frei bewegen, anhand diverser Arbeitsaufträge übt er verschiedene Arbeitsroutinen.

Einfache und schnelle Entwicklung

Mit dem Baukasten hat das Projektteam in den vergangenen acht Monaten bereits 20 verschiedene Trainingsvarianten für die Audi-Standorte Ingolstadt und Neckarsulm in mehreren Sprachen erstellt. Im Vergleich zu vorherigen VR-Trainings gestaltet sich die Entwicklung um ein Vielfaches schneller und kostengünstiger.

Mit dem Baukasten lassen sich Übungsprogramme für alle operativen und prozessorientierten Arbeitsvorgänge zusammenstellen. Damit ist dieser nicht nur in der Logistik einsetzbar, sondern beispielsweise auch im Servicetraining oder in der Fertigung, wie es seitens des Autobauers heißt.

„Die Virtual-Reality-Trainings kommen bei unseren Mitarbeitern sehr gut an“, sagt Trainer Florian Kunz aus dem Ingolstädter Trainingscenter. „Der Gamification-Ansatz macht Spaß und verbessert so auch die Lern-Fortschritte. Führt der Trainierende die Aufgaben korrekt aus, erhält er Punkte. Auf diese Weise lernt sich der Auszubildende durch verschiedene Levels, vergleichbar mit einem Videospiel.“

Mit jedem Level steigert sich der Schwierigkeitsgrad: Zu Beginn werden noch alle Arbeitsschritte anmoderiert, nach und nach gibt das Programm weniger Hinweise. Im letzten Durchgang muss der Mitarbeiter alle Aufträge ohne Hilfe durchlaufen. Das erhöht laut Audi die Motivation und spornt den Ehrgeiz der Auszubildenden an.

Die Baukastenlösung entstand durch eine Kooperation zwischen Audi-Markenlogistik, Vertrieb, IT, Trainingscenter und Audi Akademie. Bis Ende des Jahres wird das SDK in die konzernweite VR-Plattform „Digital Reality Hub“ von Volkswagen integriert.

So können künftig auch Trainer anderer Konzernmarken auf den Software-Baukasten zugreifen. Zugleich soll die Anwendung in Kooperation mit dem Münchner Start-Up Innoactive künftig weiter ausgebaut und noch nutzerfreundlicher werden.

Quelle:
https://www.produktion.de/technik/it/so-nutzt-audi-virtual-reality-in-der-ausbildung-109.html

—

Über das virtuelle Baukastenprinzip werden in Ingolstadt bereits Lerninhalte im Pick-by-light-Verfahren vermittelt.

Mit dem sogenannten Software Development Kit (SDK) für VR-Trainings gestalten Schulungsleiter bei Audi die Inhalte der virtuellen Trainingseinheiten nun selbst. Bislang war dies nur Programmierern möglich und beanspruchte viel Zeit.

Mit dem Baukasten hat ein Projektteam aus Audi-Experten und 20 verschiedene Trainingsvarianten für die Standorte Ingolstadt und Neckarsulm in mehreren Sprachen entwickelt. So können Übungsprogramme für alle operativen und prozessorientierten Arbeitsvorgänge zusammengestellt werden. Die virtuellen Schulungsmethoden kommen nicht nur in der Logistik, sondern beispielsweise auch im Servicetraining oder in der Fertigung zum Einsatz.

Auszubildende aus der Werkslogistik Ingolstadt trainieren nach diesem virtuellen Leitfaden das sogenannte Pick-by-light-Verfahren. Dabei zeigt beim Kommissionieren von Bauteilen ein Lichtsignal dem Mitarbeiter die benötigten Artikel und ihre Menge direkt am jeweiligen Entnahmefach an.

„Der Gamification-Ansatz macht Spaß und verbessert so auch die Lern-Fortschritte. Führt der Trainierende die Aufgaben korrekt aus, erhält er Punkte. Auf diese Weise lernt sich der Auszubildende durch verschiedene Levels“, sagt Trainer Florian Kunz aus dem Ingolstädter Trainingscenter.

Bis Ende des Jahres wird das SDK in die konzernweite VR-Plattform „Digital Reality Hub“ von Volkswagen integriert. So können künftig auch andere Konzernmarken auf den Software-Baukasten zugreifen. Zugleich soll die Anwendung in Kooperation mit dem Münchner Startup Innoactive weiter ausgebaut werden.

Quelle:
Bild: Audi

Audi entwickelt Baukastenlösung für VR-Trainings

26. September 2018 0 comment