Tag

Mixed Reality

Revinax Using HoloLens For Surgical Training

HoloLens mixed reality used in live medical procedure to view patient information.

Microsoft’s HoloLens appears to have emerged as the preferred device for use within a medical setting. Doctors have already begun using the mixed reality (MR) device for applications such as consultation, surgical planning and sports medicine. Now Revinax are using the technology for live surgery.

A surgical procedure was performed successfully at the Montpellier University Hospital in France under the supervision of neurosurgeon Dr Lonjon, with a surgical team equipped with HoloLens headsets, which provided additional information and imagery during the procedure, such as a 3D video of a similar surgical procedure, or patient scans and medical information, all within the surgeon’s field of view.

“This is the perfect tool for any surgery. As a teaching surgeon, I can create my own tutorials to deliver them to students before and, now also, during surgery. They can use the tutorial as a reminder during the operation. The patient imagery and planning feature also avoids unnecessary distractions: we now no longer need to check these data on the computer during the operation,” said Dr Nicolas Lonjon, neurosurgeon and teacher at the Montpellier University Hospital.

The use of the HoloLens in this way, with the Revinax mixed reality surgical environment has been viewed as something of a breakthrough. The company are already considering how else to apply the technology, turning its attention to surgical training. The company has noted that though surgical demonstrations are often at the core of training, only the surgeon has a perfect view of the procedure, which can mean students miss vital details.

“When it comes to surgery, a certain amount of “watch and learn” will always be necessary. Virtual reality and mixed reality provide new opportunities to efficiently train surgeons by giving them a direct view of the operating site. Students can now observe the entire procedure from the perspective of the performing surgeon.” Dr Maxime Ros, neurosurgeon and co-founder of Revinax.

Quelle: https://www.vrfocus.com/2017/11/revinax-using-hololens-for-surgical-training/

9. November 2017 0 comment

Examples

‘MyLab’ on HoloLens Brings an Interactive Periodic Table to the Chemistry Classroom

Education is widely expected to be an area where AR and VR will see major play, but we can’t start at zero and immediately arrive at a world of immersive, transformed education. It takes stepping stones. MyLab is one such stepping stone, which, using Microsoft’s HoloLens headset’ offers up a touchless, interactive periodic table for chemistry students.

For many, hands-on learning is the best way to learn. But you can’t quite go hands-on with particles much smaller than the naked eye can see, nor with their invisible interactions. That’s the heart of chemistry, the tiny interactions and invisible characteristics of elements that make them behave vastly differently. As such, chemistry at the basic level is often taught in concept from books, while simple experiments usually look at the results of chemical interactions in lieu of being able to actually observe the interactions themselves.

Augmented reality app MyLab aims to make a connection between the textbook concepts and the observational experiments by offering an interactive periodic table which also visualizes the hidden structures of the elements. The app’s creator, Lucas Rizzotto, explains how it works in the video heading this article. MyLab can be downloaded for free on HoloLens via the Microsoft Store.

Now, this isn’t something that couldn’t, for the most part, be achieved on an iPad—except for one thing: the ability to interact with the app and its data without touching it. Thanks to HoloLens’ floating AR interface and gesture-based interactions, a student in the lab wearing gloves who might be handling dangerous chemicals can position the interface floating anywhere in view and interact with the data without needing to be wary of contaminating a devices like an iPad or computer.

This is indeed a pretty cool app, but more importantly, it’s a stepping stone for bringing AR into the classroom in a more significant way. Deeper AR integration in classrooms can be imagined easily—perhaps the teacher is able to annotate parts of the student’s periodic table or even guide them through the experiment remotely in real-time—but to reach real, practical integration takes a series of smaller steps to figure out the best way to design such apps that are productive and valuable, and not just novel. There’s a world of possibilities when it comes to AR; MyLab makes a small but real step in that direction.

Quelle: Education – Virtual Reality Pulse

21. Juli 2017 0 comment

Examples

NASA: Mixed-Reality-Raumstation für Astronautentraining

Eine Mixed-Reality-Raumstation hilft der NASA, Tools für die Arbeit im Weltall zu entwickeln und die Astronauten zu schulen. Somit kann die Raumfahrtorganisation ihre Crews auf eine Mission schicken und dennoch auf der Erde behalten.

Seit sechs Jahrzehnten ist die NASA Vorreiter in der Luft- und Raumfahrt , und sie war an den frühesten Forschungen zur Virtuellen Realität beteiligt. Heute arbeitet die Organisation mit der Echtzeitvisualisierungsplattform von Unreal Engine, um eine sehr real wirkende Mixed-Reality-Kopie der Internationalen Raumstation ISS zu erschaffen, die eine „außerirdische“ Umgebung für ihre Astronauten und Ingenieure bereitstellt.

Bekannt als 3D-Computerspiel-Engine, die die Basis für viele der PC-, PlayStation- und Xbox-Games liefert, kommt Unreal Engine zunehmend im Automobilbau, der Aeronautik und der Architektur zum Einsatz, aber auch in anderen Disziplinen, in denen Echtzeitvisualisierung und hohe grafische Wiedergabetreue ausschlaggebend sind. Viele der entsprechenden Anwendungen ermöglichen es, in Bereichen zu arbeiten, die für Training und Entwicklung praktisch nicht zugänglich sind, wie etwa die Tiefen der Nordsee, Gebäude, die noch nicht erbaut sind oder neue Automodelle, die erst als Entwürfe am Rechner vorliegen. Die International Space Station sei ein Beispiel für einen solchen Bereich, der aber mit Virtual Reality hergestellt werden können, so Simon Jones, Director von Unreal Engines Enterprise Division.

NASA Software Engineer Matthew Noyes erklärt, wie die NASA Unreal Engine für das Astronautentraining einsetzt.

Matthew Noyes, Software Engineer bei der NASA, erklärt: „Eine wirklich immersive Erfahrung für Astronauten zu erschaffen ähnelt der Entwicklung eine Games. Mit Unreal Engine haben wir eine vollkommen immersive, dreidimensionale Trainings- und Entwicklungsumgebung erstellt, die unglaublich echt wirkt. Das heißt ganz einfach, dass wir unsere Crew ins All schicken können, während sie immer noch auf der Erde ist.“

Die VR-Implementierung der NASA kombiniert die Fähigkeit von Unreal Engine, eine realistische virtuelle Welt zu generieren mit physischen Modellen und Tracking im Raum, um so die immersive Erfahrung der ISS zu simulieren. Außer den Werkzeugen und Komponenten der Raumstation gehören zu den physischen Systemen ein System zur Simulation der Schwerkraft (Active Response Gravity System), ein Roboterkran, der von den Anwendern Gewicht nimmt, um ihnen das Gefühl zu geben, sie bewegten sich im Schwerefeld von Mond oder Mars. Das entsprechende Mixed Reality-System vermittelt die taktile Empfindung, im Orbit unterwegs zu sein, und potenziert damit das entscheidende Gefühl der Präsenz. Die Anwendungen des Systems umfassen das Training der Astronauten für die Wartung, den Gebrauch von Übungsequipment und Unterstützung beim Entwurf neuer Lebensräume und der technischen Entwicklung.

Matthew Noyes resümiert: “Die mit Unreal Engine entstandene Umgebung hat uns erlaubt, viele unserer Trainingsziele umzusetzen. Je realistischer sich das Training anfühlt, desto schneller kann man in einer heiklen realen Situation reagieren, was schließlich Leben retten kann.“

Weiter gefasste Anwendungen von VR

Für Simon Jones ist die NASA-Anwendung Teil des zunehmenden Einsatzes immersiver Visualisierungen, die, beschleunigt durch die Technologie, viel zugänglicher werde. So könnten Entwicklungsingenieure sich der Ausführung von Details widmen, ohne separate Modelle erstellen zu müssen. Marketing-Experten könnten schon 3D-Bilder erstellen, bevor ein Prototyp vorliegt, oder dem Kunden Eindrücke schon vor der Herstellung seines Produkts vermitteln. Was als High-End-Gaming-Technologie ins Leben gerufen worden sei, habe sich als Anwendung etabliert, die Innovationen beschleunige, neue Technologie vorantreibe und unglaubliche neue Möglichkeiten eröffne.

Bild: Die NASA setzt auf Unreal Engine, um Astronauten zu trainieren.

Quelle: NASA: Mixed-Reality-Raumstation für Astronautentraining | Virtua

21. Juli 2017 0 comment

Examples

VR-Lösungen für Visualisierung von Bauprojekten

An der AIA Conference on Architecture 2017 in Orlando, Florida, U.S.A., hat die BIMobject AB zwei Virtual-Reality-Systeme vorgestellt, die auf die Hersteller von Bauprodukten und BIM-basierte Projekte zugeschnitten sind: BIMobject VR und BIMobject AR.

Die beiden Lösungen sollen den Herstellern von Bauprodukten den Einsatz virtueller Produkte ermöglichen, damit sie ihre Projekte visualisieren können. In Verbindung mit der BIMobject-Cloud-Plattform steht ein umfangreicher Katalog digitaler Objekte bereit, so genannter BIM-Objekte. Beide Programme verwenden diese digitalen Versionen realer Produkte der Hersteller, derer sich Architekten, Ingenieure und Bauunternehmen bedienen.

Die BIM-Objekte werden aus der Cloud wiederverwendet, und ihre hochwertige Information fließt in den virtuellen Kontext ein. Die Lösungen werden mit den Herstellern und anderen Kunden entwickelt, die sie auf der Projektbasis lizenzieren. Für die Anwender fallen keine Kosten an.

BIMobject VR sorgt für eine vollkommen immersive Version eines Bauprojekts. Bauunternehmer, Bauherren und Fertiger von Bauprodukten haben die Möglichkeit, eine simulierte Realität über ein VR-Headset von HTC zu erleben. Die BIM-Objekte wurden für die VR-Lösung wiederverwendet, was korrekte und aktuelle Information sicherstellt. Dann erfolgte ihre realitätsnahe Visualisierung mit Hilfe einer Spiele-Engine. Wenn die Anwender in die VR-Umgebung eintauchen, können sie mit den digitalen Bauprodukten in Echtzeit interagieren und ihnen wichtig erscheinende Aspekte modifizieren, Objekte hinzufügen oder neu anordnen und Materialien für Oberflächen verändern.

BIMobject VR empfiehlt sich für den Einsatz in der Bildung, der Vertriebskonfiguration, dem Marketing und der Online-Zusammenarbeit, um die Produkt- und Materialauswahl zu verbessern. Die Software vermittelt den Kunden ein besseres Verständnis, was die Auswahlmöglichkeiten betrifft und unterstützt die Bauherren Projekte in früheren Prozessphasen zu verkaufen. Über die Digitalisierungsverfahren hinaus bietet BIMobject VR einen Vorort-Service und maßgeschneiderte Entwicklungen, um jedes Unternehmen mit einem individualisierten Satz von Komponenten und Funktionen zu versorgen.

BIMobject AR erlaubt es Anwendern, die digitalen Produkte mit der Microsoft HoloLens-Mixed-Reality-Brille in eine tatsächliche, lebensechte Umgebung einzubinden. Somit lässt sich ein leerer Raum mit digitalen Produkten aus der BIMobject-Cloud einrichten. Der Anbieter hat eine Funktion entwickelt, mit dem der Raum 3D-gescannt und das resultierende Netz intelligent interpretiert wird. Die Böden, Wände und Decken bleiben erhalten, aber alle unerwünschten Hindernisse in der realen Umgebung werden entfernt. Digitale Objekte wie Kücheneinrichtungen, Möbel oder HVAC-Ausstattung lassen sich virtuell in den tatsächlich vorhandenen Raum platzieren.

Der intelligente Prozess setzt auf eine eingebaute Logik, die festlegt, ob ein bestimmtes BIM-Objekt auf dem Boden oder an der Wand anzubringen ist. Mit Sprachbefehlen wählt man die Produkte aus und konfiguriert sie im 1:1-Maßstab. Mehrere Personen können dieselbe Konfiguration betrachten und sich frei herumlaufen, um das vorgeschlagene digitale Ergebnis zu beurteilen.

BIMobject AR ist dafür konzipiert, Anwender schnell in den Beschaffungsprozess einzubinden, aber auch um weitere Einsatzmöglichkeiten für Training und Prüfung oder für die Unterstützung von Subunternehmen bei der Installation zu ermöglichen. Außerdem bietet der Hersteller die Option, Technologie und Expertise zu mieten, etwa für Ausstellungen und andere Events.

Quelle: VR-Lösungen für Visualisierung von Bauprojekten | Virtual Reali

21. Juli 2017 0 comment

Examples

Augmented Reality für Reparaturen und Wartung | Virtual Reality

Augmented Reality für Reparaturen und Wartung

Die Leybold GmbH, ein deutsches Unternehmen der Atlas Copco Gruppe, testet als erster Vakuumpumpenhersteller die vielfältigen Anwendungsmöglichkeiten von Augmented Reality (AR). Dafür werden Servicetechnikern bei ihren Maßnahmen nützliche Zusatzinformationen und Darstellungen, teilweise in 3D, eingeblendet. Bei erfolgreichem Verlauf plant Leybold, die skalierbaren AR-Apps für Schulungs-, Reparatur- und Wartungszwecke auf andere Produktbereiche auszuweiten.

Dabei sind die Echtzeit-Visualisierungen und kontextbezogene Informationskonzepte kein Neuland für den renommierten Pumpenhersteller. Bereits seit dem Jahr 2016 setzt Leybold beim trockenen Pumpensystem DRYVAC auf die Vorzüge von Augmented Reality. Dabei stellte sich schnell heraus, dass die Daten für Kunden und Service-Techniker im Umgang mit Leybold-Produkten einen Zusatznutzen bieten. Nicht zuletzt diese positiven Erfahrungen haben Leybold veranlasst, auch in anderen Bereichen auf Augmented Reality zu setzen.

Die größten Optimierungspotenziale sieht Leybold in den Kernbereichen Training und Service. Die Technologie kann weltweit überall dort sinnvoll eingesetzt werden, wo konkreter, interaktiver Benutzersupport bei Serviceprozessen hilfreich ist. Sie bietet aber auch dann Vorteile, wenn es gilt, das Lernen und damit die Ausbildung zu erleichtern – indem etwa Einblicke in das Pumpeninnere ermöglicht werden.

Trainingsaufwand für Techniker sinkt

Augmented Reality bietet somit den Kunden und Technikern in ihren jeweiligen Einsatzbereichen viele Möglichkeiten, ihre Serviceaufgaben wahrzunehmen – auch ohne die Fachkräfte zu kontaktieren. Schritt-für-Schritt-Anleitungen im Sichtfeld der Techniker ermöglichen eine geringere Fehlerquote. Durch die visuelle Unterstützung und die Einblendung interaktiver Inhalte mit verständlichen Handlungsanleitungen sowie Checklisten minimiert sich der Trainingsaufwand für die Techniker.

Zur Veranschaulichung werden hochauflösende 3D-Grafiken exakt dort auf die Pumpen projiziert, wo die Maßnahmen durchgeführt werden müssen. Die einschlägigen Foto- und Audio-Funktionen lassen sich problemlos in die jeweilige Applikation einbetten. Bei Bedarf können unterschiedliche Auswertungen generiert werden.

Die gesamte Prozedur im Blick

Bei den Pilot-Anwendungen kommen die realistischen Darstellungsmöglichkeiten von AR-Applikationen auf Smartphones und Tablets zur Geltung. Eingesetzt wird aber auch die Microsoft HoloLens-Brille. Mit der Augmented Reality Brille können Techniker arbeiten und trainieren ohne ein Gerät in der Hand halten zu müssen.

„Wir sehen für Augmented Reality gerade bei industriellen Prozessen ein großes Anwendungspotenzial. Diese digitale Strategie ist nicht nur ein starker Markttrend; sie wird vor allem den Herausforderungen unserer Kunden und Techniker vor Ort gerecht“, unterstreicht Eckart Roettger, der Präsident von Industrial Vacuum Service, den Wert von AR-Prozessen. „Anstatt die Anweisungen einem Handbuch zu entnehmen, haben etwa Auszubildende die gesamte Prozedur auf dem Objekt real im Visier. Dies wird einen großen Einfluss auf die Wertigkeit und die Nutzung von Informationen entfalten“, führt Eckart Roettger aus.

Skalierbare Software-Plattform

Leybold arbeitet bei diesem Projekt mit REFLEKT ONE, der Software für Industrie-Anwendungen des Münchener Spezialisten für Augmented und Virtual Reality RE’FLEKT. „Viele Kunden kennen zwar die Nutzenvorteile von Augmented Reality. Das Problem besteht jedoch darin, jeweils maßgeschneiderte Anwendungen für eine Vielzahl von Produkten zu kreieren. Die Skalierbarkeit unserer Plattform macht es dem Kunden einfach, dies selbst zu tun.“, erläutert RE’FLEKT CEO Wolfgang Stelzle das Hauptmotiv, auf REFLEKT ONE zu setzen.

Einer der wesentlichen Vorteile ist die Nachhaltigkeit: Ist die Software einmal vollständig installiert, können beliebig viele AR-Applikationen für die Trainings- und Service-Szenarien aller Produkte erstellt werden. Damit ergeben sich deutliche Vorteile für den Kunden im Hinblick auf Ausfallzeiten, Reaktionszeiten und Betriebskosten.

Quelle: Augmented Reality für Reparaturen und Wartung | Virtual Reality

21. Juli 2017 0 comment

Examples

Augmented Reality: Mit Hololens spielend einfach Klavier lernen

Ein japanisches Startup arbeitet an einer App namens “Teomirn” für Microsoft Hololens, mit der man spielend Klavierstücke lernen kann.

Bevor man loslegen kann, muss Hololens das reale Klavier scannen. Ist das erledigt, wählt man aus einem Menü das Klavierstück, das man lernen möchte. Danach erscheint, durch die Linse der AR-Brille gesehen, das Hologramm eines Pianisten, der das Stück am eigenen Klavier vorspielt.

Seine Hände und Finger werden präzise wiedergegeben, sodass man deren Bewegungen genau studieren kann – soweit es das begrenzte Sichtfeld der Hololens zulässt. Den Körper des virtuellen Pianisten kann man wahlweise bis auf die Hände ausblenden, um sich ganz auf diese zu konzentrieren.

Wenn man das Klavierstück selbst üben will, wechselt man in den Unterrichtsmodus. Dann wird oberhalb der realen eine virtuelle Klaviatur samt Hände angezeigt. Von oben fließen grüne und blaue Streifen auf die Klaviertasten hinab. Grün steht für die linke Hand, Blau steht für die rechte Hand. Treffen die Streifen auf eine Klaviertaste, muss diese betätigt werden.

Die Länge der Streifen macht deutlich, wie lange man die Taste gedrückt halten muss. Wer Musikspiele wie “Rock Band” oder “Guitar Hero” ausprobiert hat, kennt dieses Prinzip des Noten-Highways. Da auch die Hände des Pianisten eingeblendet sind, lernt man zugleich die korrekte Fingerstellung.

Einen Klavierlehrer und das Notenlesen wird die App nicht ersetzen können. Aber sie könnte den Klavierunterricht sinnvoll ergänzen oder Laien einen Eindruck vom Klavierspielen verschaffen. Laut den Entwicklern ist die App noch nicht reif für eine Veröffentlichung. Das Team sucht derzeit noch nach Partnern und Investoren, die das Projekt finanziell unterstützen.

Quelle: Augmented Reality: Mit Hololens spielend einfach Klavier lernen

21. Juli 2017 0 comment

Examples

Hololens: Digitales 3D-Herz macht den menschlichen Motor verständlich

Mit räumlichen Computern wie Microsofts Hololens stehen Gestaltern neue Wege bei der Visualisierung offen. Sinn ergibt das beispielsweise im medizinischen Sektor.

Es schlägt, pumpt und pulsiert – und das mitten im Wohnzimmer. Microsofts Kopfcomputer Hololens berechnet eine exakte und vollständig animierte digitale Nachbildung des menschlichen Herzens. Das authentisch gerenderte 3D-Modell schwebt frei im Raum, sodass sich der Nutzer um das Herz herumbewegen und es aus allen Perspektiven betrachten kann.

Die vollständige Animation ist nicht als Showeffekt gedacht. Stattdessen transportieren die Bewegungen relevantes Wissen. Über das Animationssystem kann beispielsweise der Herzschlag im Falle eines Herzinfarkts, bei Bluthochdruck oder Vorhofflimmern simuliert werden.

Medizinern soll diese Art der Visualisierung dabei helfen, ein besseres Verständnis für verschiedene Krankheitsbilder und die Reaktionen des wichtigsten Muskels im menschlichen Körper zu entwickeln.

Positive Resonanz unter Medizinern

“Insight Heart”, so der Name der App, kann ab sofort kostenlos im Microsoft Store für Hololens heruntergeladen werden. Entwickelt wurde die Anwendung vom deutschen Entwicklerstudio Anima Res mit Sitz in Bonn, das sich auf die Visualisierung von medizinischen Fachthemen spezialisiert hat. Das 3D-Herz soll der Anfang einer Serie werden – der menschliche Körper bietet bekanntlich noch einige Organe mehr.

Insight Heart befindet sich noch im Beta-Status und kratzt laut den Entwicklern nur an der Oberfläche von dem, was möglich sein wird. Die kommende Version soll bereits “deutlich mächtiger” werden und mehr Features bieten.

Die Resonanz auf die Anwendung sei schon jetzt enorm, sagt uns das Team. Sie wird in den kommenden Wochen weltweit auf Medizinkongressen demonstriert. Das Studio ist weiterhin in Gesprächen, um diese Art der Visualisierung auch an Universitäten für die Ausbildung von Medizinstudenten einzusetzen.

Quelle: VRODO

Hololens: Digitales 3D-Herz macht den menschlichen Motor verständlich

21. Juli 2017 0 comment