Tag

Roboter

Kuka zeigt AR-App für Roboter

Kuka möchte via Augmented Reality die Arbeit mit Robotern zukünftig noch sicherer machen. Eine neue App scannt die Umgebung und markiert potenzielle Gefahren.

Die Smartphone-Oberfläche der neuen App zeigt per Kamera-Zugriff die Umgebung des Roboters und reichert diese realen Daten mit den digitalen Informationen spezifisch zum jeweiligen Modell an. Daraus entsteht ein Mixed-Reality-Abbild des Roboters, in dem potenzielle Gefahrenquellen perAnzeige Simulation erkannt werden. So können diese in der realen Umgebung ausgeräumt werden, bevor es zu Unfällen kommt und Umgebung oder Roboter zu Schaden kommen.

„Augmented beziehungsweise Mixed Reality ist ein Zukunftsthema, das auch in der Robotik vielversprechende Möglichkeiten bietet“, ist sich Roland Ritter, Portfolio Manager Simulation bei KUKA, sicher. „Mit Kuka.MixedReality erhöhen wir die Benutzerfreundlichkeit und Sicherheit bei der Installation unserer Roboter. Davon profitieren Kunden aller Erfahrungsstufen im Bereich der Automatisierung.“

mehr…

Quelle:

https://www.automotiveit.eu/news/kuka-zeigt-ar-app-fuer-roboter-222.html

Die App Kuka.MixedReality Assistant zeigt im Safe-Modus mögliche Gefahren des Robotereinsatzes grafisch an. (Bild: Kuka)

6. Februar 2024 0 comment

Examples

U-M to Lead Research Team Bringing VR Robots to Construction Sites

The National Science Foundation has announced it is providing $2 million to a University of Michigan-led research team in Ann Arbor to enable robots to learn from workers at construction sites. The goal is to make the industry safer and more attractive to workers.

“Construction is much more dynamic and unpredictable than an environment like a factory, so we’re working to redefine the balance between human and robot workers,” says Carol Menassa, lead principal investigator of the research team and an associate professor of civil and environmental engineering at U-M. “Humans and robots need to coexist, and that’s the premise of what we’re doing right now.”

In collaboration with the University of Florida and Washington State University, researchers from U-M’s College of Engineering and Taubman College of Architecture and Urban Planning will pair humans with “interactive robot assistants” that watch, listen, and learn during the three-year project.

By the end of the project, the team plans to deliver a machine learning system that will enable that learning through natural interaction, as well as a series of freely available educational tools that will train human workers to use those systems effectively. It also includes outreach to K-12 schools to build awareness and interest in the potentially revamped construction field that would take advantage of this research.

“Besides the direct benefits to the construction industry, this research has the potential to have a broader impact on our built environment,” says Arash Adel, a co-principal investigator on the project and an assistant professor at U-M’s Taubman College of Architecture and Urban Planning.

“By taking advantage of the capabilities of the robots, such as their precision for performing construction tasks according to the digital blueprint of the building and their ability to perform nonstandard assembly procedures, this research might open up opportunities for the feasible construction of high-quality novel architectures that are too expensive or not feasible entirely with current construction practices.”

This system would handle physically strenuous tasks on a construction site such as lifting bricks or moving sheets of drywall, while the human workers would be responsible for task management or making adjustments when the structure needs to deviate from original plans.

It uses a virtual reality (VR) copy of both the jobsite and the robot — called real-time, process level digital twin — which the human operator interacts with through a VR headset, which will present a video game-like clone of the workspace.

A joystick-style controller and a pointer are used by the operator to show the system what needs to be done. The operator will command an action, and the robot devises the most efficient way to accomplish the action based on the instructions and presents the operator with a sequence of actions called a motion plan for review.

The team is collaborating with industry partners, including Barton Malow, the Southfield-based construction management, design-build, program management, general contracting, technology, and equipment installation company.

Daniel Stone, Barton Malow’s director of innovation, says he is hopeful that increased use of technology could help stem a long-standing labor shortage, caused by the aging out of baby boomers and the industry’s reputation as dirty and dangerous.

“A job where you’re going to blow out your shoulders in a few years lifting masonry blocks, that’s a hard sell,” says Stone. “We’re trying to attract a wider range of people to the trades, people who are interested in technology. When you take the burden of lifting off people, we can attract new workers and also enable our current workers to extend their careers.”

Vineet Kamat, a co-principal investigator on the project and a professor of civil and environmental engineering at U-M explains that training might be spread across the classroom, jobsite, and a lab where humans could interact with robots in a virtual reality environment.

“The future of construction work in particular is a win-win-win only if it is a fruitful human robot partnership and collaboration moving forward,” says Kamat. “So, we’re working to adapt current training methods, which use a combination of classroom training and jobsite training with a master construction worker who provides hands-on training.”

Quelle:

Foto: A U-M graduate student operates a KUKA robot similar to the ones used in the $2 million study. // Courtesy of the University of Michigan

U-M to Lead Research Team Bringing VR Robots to Construction Sites

29. September 2021 0 comment

Knowledge Research

Räumliche Wahrnehmung: Wenn Roboter menschlicher werden

Ein von Forschenden am MIT entwickeltes Modell zielt darauf ab, Robotern eine menschenähnliche räumliche Wahrnehmung ihrer physischen Umgebung zu vermitteln.

Für komplexere Aufgaben müssen Roboter ihre Umwelt wie Menschen wahrnehmen können.
Bisher erweist es sich als schwierig, aus den Pixelwerten, die Roboter über die Kamera empfangen, ein mentales Modell der Umwelt zu extrahieren.
Forschende am MIT entwickeln ein Modell, dass Robotern eine menschenähnliche räumliche Wahrnehmung beibringen soll.

Wären wir nicht alle dankbar für ein wenig Hilfe im Haushalt, vor allem, wenn diese Hilfe in Form eines intelligenten, anpassungsfähige Roboters käme? Nun gibt es ja die One-Trick-Ponys der Gerätewelt. Aber die MIT-Ingenieure stellen sich Roboter eher wie Haushaltshilfen vor, die in der Lage sind, vielfältige und komplexe Befehle vom Typ Alexa zu befolgen, wie zum Beispiel „Geh in die Küche und hol mir einen Kaffee“. Um solche hochrangigen Aufgaben ausführen zu können, müssen Roboter nach Ansicht der Forscher über eine räumliche Wahrnehmung verfügen, die der des Menschen entspricht.

„Um eine Entscheidung in der Welt treffen zu können, braucht man ein mentales Modell der Umwelt um einen herum“, sagt Luca Carlone, Assistenzprofessor für Luft- und Raumfahrt am MIT. „Das ist für den Menschen etwas so Müheloses. Aber für Roboter ist es ein schmerzhaft schwieriges Problem, bei dem es darum geht, Pixelwerte, die sie durch eine Kamera sehen, in ein Verständnis der Welt umzuwandeln.

Jetzt haben Carlone und seine Studenten eine räumliche Wahrnehmung für Roboter dargestellt, die der Art und Weise nahekommt, wie Menschen die Welt wahrnehmen und sich in ihr bewegen. Das neue Modell ermöglicht es einem Roboter, schnell eine 3D-Karte seiner Umgebung zu erstellen, die auch Objekte und ihre semantischen Bezeichnungen (zum Beispiel einen Stuhl gegenüber einem Tisch) sowie Menschen, Räume, Wände und andere Strukturen enthält, die der Roboter wahrscheinlich in seiner Umgebung sieht.

Das Modell ermöglicht es dem Roboter auch, relevante Informationen aus der 3D-Karte zu extrahieren, den Standort von Objekten und Räumen oder die Bewegung von Personen auf seinem Weg abzufragen. „Diese komprimierte Darstellung der Umgebung ist nützlich, weil unser Roboter damit schnell Entscheidungen treffen und seinen Weg planen kann“, sagt Carlone. „Dies ist nicht allzu weit von dem entfernt, was wir als Menschen tun. Wenn Sie einen Weg von Ihrem Zuhause zum MIT planen müssen, planen Sie nicht jede einzelne Position, die Sie einnehmen müssen. Man denkt einfach auf der Ebene von Straßen und Orientierungspunkten, wodurch man seine Route schneller planen kann.

Abgesehen von Haushaltshilfen, so Carlone, könnten Roboter, die dieses neuartige mentale Modell der Umgebung übernehmen, auch für andere hochrangige Aufgaben geeignet sein, wie zum Beispiel die Arbeit Seite an Seite mit Menschen in einer Fabrikhalle oder die Erkundung eines Katastrophengebietes für Überlebende. Er und seine Studenten, darunter der Hauptautor und MIT-Absolvent Antoni Rosinol, werden auf der Robotics: Science and Systems ihre Ergebnisse vorstellen.

Ein Mapping-Mix

Gegenwärtig ist die Robotervision und -navigation vor allem auf zwei Wegen vorangekommen: 3D-Kartierung, die es Robotern ermöglicht, ihre Umgebung bei der Erkundung in Echtzeit dreidimensional zu rekonstruieren; und semantische Segmentierung, die einem Roboter dabei hilft, Merkmale in seiner Umgebung als semantische Objekte zu klassifizieren, wie zum Beispiel ein Auto gegenüber einem Fahrrad, was bisher meist auf 2D-Bildern erfolgt.

Das neue Modell für die räumliche Wahrnehmung von Carlone und Rosinol ist das erste, das eine 3D-Karte der Umgebung in Echtzeit erzeugt und gleichzeitig Objekte, Personen (die im Gegensatz zu Objekten dynamisch sind) und Strukturen innerhalb dieser 3D-Karte kennzeichnet. Die Schlüsselkomponente des neuen Modells des Teams ist Kimera, eine Open-Source-Bibliothek, die das Team zuvor entwickelt hat, um gleichzeitig ein geometrisches 3D-Modell einer Umgebung zu erstellen und dabei die Wahrscheinlichkeit zu kodieren, dass ein Objekt zum Beispiel ein Stuhl oder ein Schreibtisch ist. „Wie das Fabelwesen, das eine Mischung aus verschiedenen Tieren ist, sollte Kimera eine Mischung aus Kartographie und semantischem Verständnis in 3D sein“, sagt Carlone.

Kimera arbeitet, indem sie Bildströme von der Kamera eines Roboters sowie Trägheitsmessungen von bordeigenen Sensoren aufnimmt, um die Bewegungsbahn des Roboters oder der Kamera abzuschätzen und die Szene als 3D-Netz zu rekonstruieren, und das in Echtzeit.

Um ein semantisches 3D-Netz zu erzeugen, verwendet Kimera ein bestehendes neuronales Netz, das auf Millionen von Bildern aus der realen Welt trainiert wurde. Es dient dazu, die Beschreibung jedes Pixels vorherzusagen, und projiziert dann diese Labels in 3D mit einer als Ray-Casting bekannten Technik, die in der Computergrafik für das Echtzeit-Rendering verwendet wird. Das Ergebnis ist eine Karte der Umgebung eines Roboters, die einem dichten, dreidimensionalen Netz ähnelt, in dem jedes Gesicht als Teil der Objekte, Strukturen und Personen in der Umgebung farbcodiert ist.

Räumliche Wahrnehmung: Szenen mit Layern

Würde sich ein Roboter allein auf dieses Netz verlassen, um durch seine Umgebung zu navigieren, wäre dies eine rechenaufwändige und zeitraubende Aufgabe. Daher bauten die Forscher auf Kimera auf und entwickelten Algorithmen, um aus Kimeras anfänglichem, sehr dichten, semantischen 3D-Netz dynamische 3D-„Szenengraphen“ zu konstruieren. Szenengraphen sind beliebte Computergrafikmodelle, mit denen komplexe Szenen manipuliert und gerendert werden und die typischerweise in Game-Engines zur Darstellung von 3D-Umgebungen verwendet werden.

Im Falle der dynamischen 3D-Szenengraphen abstrahieren oder zerlegen die zugehörigen Algorithmen Kimeras detailliertes semantisches 3D-Netz in verschiedene semantische Schichten, so dass ein Roboter eine Szene durch eine bestimmte Schicht oder Linse „sehen“ kann. Die Schichten entwickeln sich in der Hierarchie von Objekten und Personen über offene Räume und Strukturen wie Wände und Decken bis hin zu Räumen, Korridoren und Hallen und schließlich zu ganzen Gebäuden.

Ein dynamischer 3D-Szenengraph einer Büroumgebung. Die Knoten im Graphen stellen Entitäten in der Umgebung dar (Menschen, Objekte, Räume, Strukturen), während Kanten Beziehungen zwischen Entitäten darstellen.
Bild: Mit freundlicher Genehmigung der Forscher/*MIT*

Laut Carlone vermeidet diese Schichtdarstellung, dass ein Roboter Milliarden von Punkten und Flächen im ursprünglichen 3D-Netz sinnvoll darstellen muss. Innerhalb der Schicht aus Objekten und Menschen konnten die Forscher auch Algorithmen entwickeln, die die Bewegung und die Gestalt von Menschen in der Umgebung in Echtzeit verfolgen.

Das Team testete ihr neues Modell in einem fotorealistischen Simulator, der in Zusammenarbeit mit dem MIT Lincoln Laboratory entwickelt wurde und einen Roboter simuliert, der durch eine dynamische Büroumgebung navigiert, in der sich Menschen bewegen. „Wir ermöglichen Robotern im Wesentlichen mentale Modelle, die denen der Menschen ähnlich sind“, sagt Carlone. „Dies kann sich auf viele Anwendungen auswirken, darunter selbstfahrende Autos, Such- und Rettungsdienste, kollaborative Fertigung und häusliche Robotik.

AR-Brillen, die sich der Umwelt bewusst sind

Ein weiterer Bereich ist die virtuelle und erweiterte Realität (AR). Stellen Sie sich vor, Sie tragen eine AR-Brille, die unseren Algorithmus ausführt: Die Brille könnte Ihnen bei Fragen wie „Wo habe ich meine rote Tasse gelassen?“ und „Was ist der nächstgelegene Ausgang? Sie können sich das als eine Alexa vorstellen, die sich ihrer Umgebung bewusst ist und Objekte, Menschen und ihre Beziehungen versteht.

„Unser Ansatz wurde gerade erst möglich dank der jüngsten Fortschritte beim Deep Learning und der jahrzehntelangen Forschung zur gleichzeitigen Lokalisierung und Kartierung“, sagt Rosinol. „Mit dieser Arbeit machen wir den Sprung in eine neue Ära der Roboterwahrnehmung, die als Raum-KI bezeichnet wird, die noch in den Kinderschuhen steckt, aber ein großes Potenzial in der Robotik und in der virtuellen und erweiterten Realität im großen Maßstab besitzt.

Diese Forschung wurde zum Teil vom Army Research Laboratory, dem Office of Naval Research und dem MIT Lincoln Laboratory finanziert.

Bild oben: MIT-Forscher haben ein Modell für räumliche Wahrnehmung bei Robotern entwickelt, die der Art und Weise nachempfunden ist, wie Menschen die Welt wahrnehmen und sich in ihr bewegen. Die Schlüsselkomponente des neuen Modells des Teams ist Kimera, eine Open-Source-Bibliothek, die das Team zuvor entwickelt hat, um gleichzeitig ein geometrisches 3D-Modell einer Umgebung zu konstruieren. Kimera baut ein dichtes semantisches 3D-Netz einer Umgebung auf und kann Menschen in der Umgebung verfolgen. Die Abbildung zeigt eine Multi-Frame-Aktionssequenz eines Menschen, der sich in der Szene bewegt. Bildquelle: MIT/Mit freundlicher Genehmigung der Forscher

Paper: “3D Dynamic scene graphs: Actionable spatial perception with places, objects, and humans”: https://roboticsconference.org/program/papers/79/

Quelle:

Foto: Courtesy of the researchers/MIT

23. Juli 2020 0 comment

Examples

Lernen in der virtuellen Welt – bei der Dürr Ecoclean GmbH

Die Dürr Ecoclean GmbH nutzt Virtual Reality, um Mitarbeiter für Servicearbeiten an komplexen Robotern zu schulen. Zu Trainingszwecken können sich bis zu zwanzig Mitarbeiter im gleichen virtuellen Raum einfinden und Wartungsarbeiten an einem Roboterarm trainieren.

Virtual Reality, die virtuelle Welt aus dem Computer mit der täuschend echten Simulation dreidimensionaler Räume, war lange Zeit nur wenigen Menschen in erster Linie aus Wissenschaft und Forschung zugänglich. Sündhaft teure ‘Caves’ an einigen wenigen Hochschulen eröffneten der Wissenschaft einen völlig neuen Blick auf die Welt. Mittlerweile ist die virtuelle Welt in der Realität angekommen. Leistungsfähige 3D-Brillen machen Virtual Reality für jedermann erschwinglich und moderne Computer sind dank schneller Prozessoren und leistungsfähiger Grafikkarten in der Lage, virtuelle Welten realistisch darzustellen. Und auch die Wirtschaft hat erkannt, welche Möglichkeiten VR-Anwendungen bieten.

Roboter in rauen Umgebungen

Dürr Ecoclean entwickelt und fertigt Reinigungsanlagen und Maschinen für die Teilereinigung, hauptsächlich in der Automobilindustrie. Motoren- und Getriebegehäuse etwa werden vor der Montage sorgfältig von Spänen und Verschmutzungen aller Art befreit. In der flexiblen Reinigungszelle EcoCFlex 3 bewegt ein Scara-Roboter die entsprechenden Gehäuse innerhalb der Reinigungskammer. Dieser Manipulator muss unter sehr rauen Bedingungen arbeiten, so werden zum Beispiel. bei Temperaturen bis zu 65 Grad Celsius Reinigungschemikalien mit einem PH-Wert zwischen sechs und zehn verwendet. Um die Funktionsfähigkeit dieser Roboter zu erhalten, müssen sie regelmäßig gewartet werden. Der Aachener Technologiedienstleister Tema Technologie Marketing AG hat für Dürr Ecoclean eine VR-Anwendung entwickelt, mit der Mitarbeiter und Kunden in einer fast realen Welt diese Tätigkeiten trainieren können. „Wir wollen, dass unsere Servicemitarbeiter auf der ganzen Welt mit ihren Aufgaben bestens vertraut sind“, fordert Michael Förster, Geschäftsführer der Dürr Ecoclean GmbH. „Andererseits ist es zeitlich und finanziell sehr aufwendig, diese Mitarbeiter hier vor Ort an einer realen Maschine üben zu lassen. Virtual Reality beim Scara Manipulator ist für uns die ideale Lösung, unseren Service-Mitarbeitern die Wartungsabläufe möglichst realitätsnah zu vermitteln, und das über tausende Kilometer hinweg“.

Realistisches Modell

Aus den CAD-Daten des Scara Roboters konstruierten die VR-Entwickler bei Tema ein realistisches VR-Modell des Roboterarms, der sich in der VR über Schieberegler auch in allen Freiheiten bewegen lässt. „Eine der zeitaufwendigsten Arbeiten war die Gruppierung der einzelnen Elemente. Wenn sich ein Teil des Roboterarms bewegt, müssen sich die dazugehörigen Schrauben mitbewegen, wenn sich der ganze Arm bewegt, müssen sich alle Gruppen des Arms mitbewegen“, schildert Dirk Heidermann, verantwortlicher VR-Entwickler bei Tema, die Arbeit an der Anwendung. Vom Auftrag bis zur ersten Anwendung hat es gerade zehn Wochen gedauert – alle Handgriffe der komplexen ersten Wartung können nun virtuell durchgeführt werden. Der Instruktor in Monschau führt dem Service-Mitarbeiter in Shanghai die Hand, Missverständnisse sind kaum möglich, aufwendige technische Sprachübersetzungen fallen fort, erst recht lange Flugreisen. Eine weitere Herausforderung war die Synchronisation mehrerer Mitarbeiter in ein- und demselben virtuellen Raum. Realisiert wurde der Import der 3D-Modelle in den virtuellen Raum, die Beweglichkeit der einzelnen Teile und die Synchronisation aller Teilnehmer über die Unity Engine, eine Software, die eigentlich für die Spieleentwicklung in der VR entwickelt wurde. „Für alle Anwendungen in der Virtual Reality sind bislang Spiele-Engines am besten geeignet“, so Dirk Heidermann, ein Hinweis darauf, aus welcher Branche die eigentlichen Technologietreiber in diesem Bereich kommen. Alles, was der Service-Mitarbeiter auch am realen Roboter nachher betätigen soll, kann er im virtuellen Raum trainieren, jede einzelne Schraube lässt sich lösen, und natürlich auch wieder festschrauben, und natürlich können mehrere Teilnehmer gleichzeitig am Roboter ‘arbeiten’. Konflikte sind dabei ausgeschlossen. Das Programm verhindert, dass zum Beispiel zwei Teilnehmer gleichzeitig an der gleichen Schraube drehen. Außerdem sind die einzelnen Handlungen aufeinander aufgebaut: im virtuellen Raum kann man zum Beispiel bei einem Ölwechsel den Getriebedeckel erst dann schließen, wenn auch Öl nachgefüllt wurde. So wird gewährleistet, dass die einzelnen Arbeitsschritte in der richtigen Reihenfolge und vollständig trainiert werden.

Im Raum mit dem Roboter

Das Ergebnis des Projektes: Kaum hat man die 3D-Brille HTC Vive auf dem Kopf, findet man sich in einem Raum mit dem Roboter wieder. Durch die Tracking Funktion der Vive kann man sich in diesem Raum auf einer definierten Fläche frei bewegen, kann zum Beispiel um den Roboter herumgehen. Die anderen Anwesenden im virtuellen Raum, zum Beispiel den Trainer, erkennt man an der Darstellung ihres Headsets und der Controller, die sie in den Händen halten. Die Verbindung der einzelnen Teilnehmer über das Internet geschieht übrigens automatisch. Mit den Controllern werden auch die virtuellen Werkzeuge bedient, mit denen die Wartungsarbeiten durchgeführt werden. Wenn an die Headsets der Teilnehmer auch Kopfhörer angeschlossen sind, kann man sich in der virtuellen Welt sogar ganz normal unterhalten. Die Programmierarbeit der Entwickler bei der Tema AG, programmiert wurde übrigens in der objektorientierten Programmiersprache C#, hat sich also gelohnt. Durch die Verwendung der gängigen Steuerungssoftware Steam VR kann das Programm nicht nur mit der HTC Vive, sondern zum Beispiel auch mit der VR-Brille Oculus Rift betrachtet werden. „Während der Entwicklungszeit ist die enge Abstimmung mit dem Kunden besonders wichtig, damit auch nachher alles genau so aussieht und funktioniert, wie in der Realität“, sagt Dirk Heidermann. Und auch die saubere Programmierung ist wichtig, damit alles reibungslos läuft, denn VR ist recht ressourcenhungrig: „Ein Computer neuester Generation mit einer leistungsfähigen Grafikkarte muss es schon sein“, so Dirk Heidermann, „sonst kann es sein, das die virtuelle Wirklichkeit ruckelt“. Mindestens 90 Bilder pro Sekunde muss der Rechner an jeden der kleinen Bildschirme in der VR-Brille übermitteln, damit der Ausflug in virtuelle Welten zu einer realitätsnahen Erfahrung wird. Bei einer Bildwiederholrate ab 90 Bildern pro Sekunde treten keine Störungen zwischen visueller und taktiler Wahrnehmung mehr auf.

Quelle:

Lernen in der virtuellen Welt

21. November 2018 0 comment

Examples

Virtueller Lern-Roboter fürs Kinderzimmer

Einen Roboter programmieren: Das dürfte vielen Kindern gefallen. «RosieReality» macht’s möglich — wenn auch nur virtuell. Das ETH-Spin-off will damit den Nachwuchs an Grundlagen der Robotik heranführen. Von Astrid Tomczak

«In 15 Jahren werden es Kinder seltsam finden, dass wir überhaupt zwischen realer und virtueller Welt unterscheiden.» Was wie das Credo eines Nerds aus einem Science-Fiction-Film klingt, kommt aus dem Mund eines jungen Mannes, der ziemlich geerdet wirkt: Sélim Benayat, 27 Jahre alt, ist Biophysiker und Mitgründer von RosieReality, einem Start-up, das Kinder in das Programmieren und die Robotik einführen will.

Rosie ist ein freundlicher Erkundungsroboter aus einer fernen Galaxie. Auf ihrer Reise durch den Weltraum kam sie der Erde zu nahe und stürzte auf den Planeten ab. Rosie ist jetzt auf die Hilfe von Kindern angewiesen, um ihr Gedächtnis wiederherzustellen und den Planeten Erde zu erkunden. Das ist die Geschichte der Rosie-App, die die Entwickler zu einem weltweiten Erfolg machen wollen.

Alternative zu «teurem Spielzeug»

Am Anfang dieser Story tüftelten Sélim Benayat und Peter Spence, der am Imperial College in London Maschinenbau und Innovatives Design studierte, an einem Roboter für Kinder im Vorschulalter herum. Das Projekt wurde im Autonomous Systems Lab an der ETH entwickelt und hat Benayat und Spence zu engen Freunden gemacht.

Die ambitionierten Jungforscher merkten allerdings schnell, dass die Hardware bei einem echten Roboter zu kompliziert und aufwändig ist: «Für Eltern und Schulen wäre ein solches Spielzeug zu teuer», sagt Benayat. Also suchten sie nach Alternativen die Robotik zugänglich zu machen. Das war die Initialzündung für «RosieReality».

Virtuelle und reale Welten verschmelzen

Wer die App installiert, sieht auf dem Smartphone die reale Umgebung mit Rosie als virtueller Roboterfigur, so wie wir das beispielsweise von Pokémon Go her kennen. Mittels einfacher Befehle lässt sich der virtuelle Roboter «programmieren»: Die Spieler geben Rosie Befehle, indem sie das Smartphone bewegen und virtuelle Objekte anwählen. Im Gegensatz zu Spielen, die komplett in einer virtuellen Welt angesiedelt sind – beispielsweise Minecraft – verschmilzt hier also die reale mit der virtuellen Welt, – echte «Augmented Reality».

Was in der Theorie relativ einfach klingt, ist in der Umsetzung knifflig: Eine der größten Herausforderungen sei es, auf einem zweidimensionalen Objekt – also dem zweidimensionalen Smartphone-Bildschirm – eine dreidimensionale Welt erlebbar und greifbar zu machen, erklärt Benayet. Im englischen Sprachraum wurde dafür der Begriff der «physicality» geprägt. Da sind Design-Spezialisten wie Spence gefragt. Zudem muss die Software so beschaffen sein, dass auch Ungeübte das Spiel begreifen.

App beschäftigt Kinder lange

Mehr als 1000 Kinder ab acht Jahren testeten die App in den letzten Monaten; manche beschäftigten sich 20 Minuten mit Roboter Rosie, was im Vergleich zu anderen Apps eine relativ lange Zeitdauer ist. Andere Tests «gingen total in die Hose», wie Benayat freimütig einräumt. Wer «Rosie» ausprobiert, kann dieses Scheitern nachvollziehen: Tatsächlich muss man erst mal verstehen, dass der virtuelle Roboter sich nicht von selber oder mittels Touchscreen bewegt, sondern eben «programmiert», das heißt, mit einem bestimmten Befehl ausgerüstet werden muss.

Trotz dieser Anfangsschwierigkeiten ist Benayat überzeugt, dass das Projekt Zukunft hat. Und damit ist er nicht alleine: Wurde das bei Wyss Zurich, einem gemeinsamen Forschungs- und Entwicklungszentrums von ETH und Universität Zürich, angesiedelte Projekt zunächst aus Mitteln der Gebert Rüf-Stiftung anschubfinanziert, kommt der Löwenanteil des Kapitals jetzt aus dem Silicon Valley.

Ziel: 100 Millionen Nutzer

Anfang 2018 wurde das Unternehmen gegründet. Nebst Spence und Benayat war der Robotik-Spezialist Florian Maushart mit von der Partie, den Benayat aus den USA mit dem Rosie-Projekt zurück in die Schweiz lockte. Mittlerweile beschäftigt RosieReality neun Mitarbeiter, darunter auch 3D-Game-Spezialisten. Benayat rechnet damit, dass das Unternehmen im ersten Quartal 2019 auf mindestens 15 Mitarbeitende anwachsen wird.

Innerhalb der nächsten drei Jahre wollen die Jungunternehmer 100 Millionen Nutzer weltweit haben und würden damit zu einem grossen Mitkonkurrenten der Spieleszene. Künftig soll das Unternehmen über monatliche Subskriptionsgebühren Geld verdienen. Dabei wird der Inhalt ähnlich einer TV-Serie produziert und laufend mit neuen interaktiven Episoden ausgestattet. Wer möchte, kann gemeinsam mit Rosie dann etwa die Sahara oder den Himalaja entdecken.

«Welt ein bisschen besser machen»

Bis es so weit ist, bleibt allerdings viel zu tun. Die Rosie-App läuft zurzeit nur auf iPhones der neueren Generation und befindet sich noch in der Testphase. Wöchentlich stoßen neue Nutzerinnen und Nutzer aus der ganzen Schweiz dazu. Ihr Verhalten wird anonymisiert bei den Machern genau registriert und bei der Weiterentwicklung aufgenommen. Dabei geht es Benayat und seinen Mitstreitern nicht einfach darum, ein neues spielerisches Lerntool auf den Markt zu bringen. «Wir möchten die Welt ein bisschen besser machen», sagt der Biophysiker frei jeglicher Ironie.

Klingt nach virtueller Glückseligkeit – Benayat nennt es «soziale Interaktion». Bald sollen nämlich mehrere Spielerinnen und Spieler gleichzeitig im gleichen Raum mit Rosie interagieren. Dabei müssen sich die Mitspieler gegenseitig unterstützen, damit Rosie das macht, was sie soll. Ob das funktioniert? «Eltern sehen mittlerweile ein, dass Spielen per se nicht schlecht ist», ist Benayat überzeugt. «Und sie finden es cool, wenn sie Teil eines kollaborativen Spiels sind, welches sich im «echten Leben» abspielt. Die Vorteile von Augmented Reality.»

Website von RosieReality: http://rosiereality.ch/

Quelle:

https://www.virtual-reality-magazin.de/virtueller-lern-roboter-fuers-kinderzimmer

Foto: Mehr als 1000 Kinder ab acht Jahren testeten die App in den letzten Monaten. – RosieReality

17. November 2018 0 comment

Examples

Virtual Reality-Training für künstliche Intelligenz: Roboter lernen in VR

Chiphersteller NVIDIA und ein Institut für künstliche Intelligenz arbeiten an VR-Übungsumgebungen für Roboter. Was verbirgt sich hinter den futuristischen Virtual Reality-Projekten?

Auf der SIGGRAPH 2017 stellte NVIDIA einen Roboter vor, der in der virtuellen Realität trainiert. Ein ähnliches Projekt verfolgt auch das Allen Institute for Artificial Intelligence aus Seattle mit einer Virtual Reality Trainingssoftware für Roboter namens AI2-THOR.

Virtual Reality-Training für den Ernstfall

Die Virtual Reality Technologie spielt auch bei der Entwicklung von künstlicher Intelligenz (KI) für Roboter eine große Rolle. NVIDIA’s Project Holodeck sowie die Open Source Software AI2-THOR sind dabei virtuelle Übungsplätze für Roboter. Dort trainiert die Roboter-KI zur Vorbereitung von Einsätzen im echten Leben.

Das Experimentieren mit verschiedenen KI-Algorithmen in Virtual Reality ist vor allem aufgrund der sicheren und kontrollierbaren Trainingsumgebung sinnvoll. So können unterschiedliche Verhaltensweisen des Roboters in verschiedenen Situationen gefahrlos und in lebensechten, dreidimensionalen Umfeldern getestet werden.

VR schafft lebensechte Laborbedingungen

Forscher des Allen Institute for Artificial Intelligence aus Seattle haben dafür ihrerseits die Open Source Software AI2-THOR entwickelt. Das interaktive VR-Modell simuliert bis zu 120 alltägliche Situationen. Dabei lernt die KI den Umgang mit verschiedenen Gegenständen. Sie kann beispielsweise das Öffnen einer Mikrowelle in einer virtuellen Küche üben.

Zudem will das Team aus Seattle AI2-THOR künftig mit neuen Features wie zum Beispiel verformbaren Objekten erweitern. Das soll das Roboter-Training verbessern, indem die Komplexität der realen Welt möglichst genau simuliert wird.

Ihr seid begeistert von VR-Roboter-Technologie? Dann könnte euch auch Toyotas VR-gesteuerter Roboter interessieren.

Quelle: https://vr-world.com/htc-vive-toyota-roboter-virtual-reality/

2. März 2018 0 comment

Examples

HTC Vive: Toyota stellt VR-gesteuerten Roboter vor

Die Toyota Motor Company scheint Gefallen an VR-gesteuerten Robotern gefunden zu haben. So präsentierte das Unternehmen kürzlich seine eigene Vision der VR-Robotik. Mittels HTC Vive und Motion-Steuerung sollen Roboter in Zukunft ferngesteuert werden.

Der Roboter-Trend ist nun auch bei Toyota angekommen. Doch da das Thema künstliche Intelligenz kontrovers diskutiert wird, möchte man vorerst noch der menschlichen Steuerung vertrauen. Daher nutzt Toyotas Partner Robot Division für ihr neuestes Roboter-Projekt die HTC Vive. Mit der VR-Brille hat der Nutzer die Arbeiten des Roboters in Echtzeit im Blick und jederzeit die Kontrolle.

Mit der HTC Vive einen Roboter steuern

T-HR3 heißt die dritte Generation der humanoiden Roboter von Toyota. Dabei handelt es sich um das erste Modell, das die Bewegungen eines menschlichen Steuermanns in Echtzeit umsetzt. Durch ein sogenanntes Master Maneuvering System ist der Operator in der Lage, die komplette Roboter-Einheit vom Kopf bis zu den Füßen zu bewegen.

Das Steuersystem besteht aus 16 einzelnen Kontroll-Einheiten, die sich präzise auf die Körperteile der T-HR3-Einheit auswirken. Der Sitz und die Fuß-Kontrolle geben dem Nutzer die Fähigkeit, den Roboter vorwärts oder seitwärts zu bewegen, ohne selbst körperlich vom Platz zu weichen.

Das Headset der HTC Vive ermöglicht es dem Operator, die Umgebung der Maschine in Virtual Reality zu sehen. Außerdem überträgt es die Kopfbewegungen auf die Maschine.

Durch das Torque Servo-Modul erhält der Roboter zusätzliche Flexibilität, um sich in seiner Umwelt und in der Umgebung von Menschen besser zu bewegen. Die Gelenk-Kontrolle bestimmt den Krafteinsatz der Maschine, während sich die Körperkoordination und Balance-Kontrolle um das Gleichgewicht kümmern. Diese Systeme sind unerlässlich, um den humanoiden Roboter für fortschrittliche Zwecke zu nutzen.

Schema der Steuerungsmöglichkeiten für Toyotas T-HR3-Roboter, der mit einer HTC Vive gesteuert wird.

Einsatzgebiete in Fabriken, aber auch in Gefahrengebieten

Der T-HR3 soll testen, inwiefern er in der Lage ist, Menschen in Fabriken oder sogar Zuhause zu unterstützen. Dazu kommt, dass er theoretisch in Gefahrengebieten eingesetzt werden kann. Denkbare Szenarios wären zum Beispiel Nuklearreaktoren, Entschärfungen von Sprengwaffen oder Einsatz in Kriegsgebieten. Zu den Zielen des Projektes sagte Akifumi Tamaoki, General Manager bei Robot Division:

Das Partner Robot Team hat sich der Aufgabe verschrieben, die Technologie in T-HR3 zu nutzen, um freundliche und hilfsbereite Roboter zu entwickeln, die mit dem Menschen leben und ihm bei täglichen Aufgaben helfen können. In der Zukunft werden die Kerntechnologien, die auf dieser Plattform entwickelt wurden, helfen, Roboterentwicklung voranzubringen und schließlich bessere Mobilität für alle zu erlauben.

Quelle: https://vr-world.com/htc-vive-toyota-roboter-virtual-reality/

1. März 2018 0 comment

Examples

Training Robots Tedious Tasks With VR

Robots learn new skills from your virtual puppeteering.

The amount of work involved to program a robot to take on any type of task, no matter how small, can be incredibly tedious. Tasks that likely require expert levels of development and programming.

Embodied Intelligence Inc., a startup co-founded by Pieter Abbeel, a professor of electrical engineering and computer science at University of California, Berkeley, along with his students, Peter Chen, Rocky Duan and Tianhao Zhang—are looking to change this with VR. Thanks to a VR headset like the HTC Vive and accompanying motion controllers, you can show a robot named Brett how to tackle simple tasks without ever having to write any additional code.

Robot Brett mimics your VR movements and learns the motions patterns of the task at hand. After a while the robot learns and starts to match how you as the human operator would have done to task. Eventually Brett can take over the task without any assistance.

Much like a puppet master, you can guide the robot’s arms. What you see in the VR headset is the POV from the actual robot’s camera. After roughly 30 minutes, Brett is able to take over on his own, remembering all the human motions and movements.

The idea is similar to how you may train a new employee on their first day or teach someone how to assemble a table—but instead that new employee is robot Brett.

“The beauty of VR is you are virtually putting yourself into the robot, and see through the robot’s eyes,” Pieter Abbeel said in an interview with VRScout. “You get to move the robot’s hands, and teach it to learn the new skill in a way that is very natural.”

Traditionally, programing a robot can be incredibly time consuming. “You’re solving the problem in your head and then writing the code to execute the solution,” Abbeel said, “which can take months and you need to be quite an expert to complete it.”

In a paper published by Cornell University. The team from Embodied Intelligence showed how an inexpensive VR headset along with hand controllers could train a robot to learn something as complex as putting two objects together, which doesn’t sound like a huge feat, but because they used VR, the amount of data needed to learn that skill was minimal. “You might only need a day of demonstrations from humans to have enough data for a robot to acquire the skill,” said Abbeel in on the Berkeley website.

This process can work with robots currently in manufacturing plants and warehouses all around the globe.

Does this mean we will be programming R2-D2 using an HTC Vive to help us around the house? Sadly, not yet. Beep Boop (sad face).

“VR is in great shape for doing something like programming robots to learn new tasks,” said Abbeel, but “there still is a lot of progress that needs be made but we’re getting there.”

On November 7, Embodied Intelligence announced that they raised $7 million in seed funding to continue the development of AI software that will utilize VR to make it easier to teach robots new, complex skills.

Image Credit: UCB / Elena Zhukova

Quelle:

https://vrscout.com/news/training-robots-tedious-tasks-vr/amp/

17. Januar 2018 0 comment