Geräteabhängige AR-Tools: Die Stärken von Google Tango

Jeder, der Zeitung liest, fernsieht oder im Internet surft, hat schon einmal etwas von Augmented Reality (AR) und Virtual Reality (VR) gehört. Es handelt sich schon längst nicht mehr um neue Technologien. Sie sind mit Sicherheit aber auch keine reinen Buzzwords, die mit der Zeit wieder verschwinden werden. AR und VR gibt es seit mindestens einem Jahrzehnt, und mit den Jahren gewinnen sie langsam an Ausgereiftheit und Eigendynamik.

Besonders AR hat sich vielversprechend entwickelt: Stellt euch vor, ihr nähert euch einem Geschäft und es erscheinen plötzlich Richtungspfeile auf dem Bürgersteig, die euch zeigen, wo ihr den Store und das entsprechende Produkt findet, nach dem ihr gerade sucht – oder Hinweise, die vor den Produkten im Regal selbst auftauchen und euch hilfreiche Informationen liefern. Nicht umsonst gilt AR als die impulsgebende Technologie unserer Zeit und große Player wie Google (Tango, Earth VR), Microsoft (Hololens), Facebook (Camera Effects) und Samsung (Bixby) sind schon längst auf den Zug aufgesprungen, um sich ihren Anteil an diesem lukrativen Markt zu sichern.

Auf den Punkt: Wie funktioniert AR?

Augmented Reality, also erweiterte Realität, entsteht, wenn ein Video oder eine Sequenz von Bildern über einen aktuellen Bildausschnitt (View Port) gelegt wird. Das kann auf einem mobilen Screen oder über spezielle AR-Brillen wie die von Microsoft oder Google geschehen. Oft nutzen wir AR, ohne es zu merken: So handelt es sich bei Snapchat ebenfalls um erweiterte Realität. Die beliebte Messenger App bietet nicht nur bunte Filter, die über Bilder und Videos gelegt werden, sondern hat vor Kurzem auch das Feature „New World Lense“ veröffentlicht, um weiter in den AR-Markt vorzustoßen. Die allgemeine Grundidee hinter AR ist simpel: Durch computergestützte Bilderkennung (Computer Vision) sieht und versteht die AR-Anwendung ihre Umgebung und erweitert das Gesehene mit der Überlagerung computergenerierter Objekte. Diese Objekte sind frei wählbar. Denkbar ist alles von Richtungspfeilen, Informationstafeln, Videowänden bis hin zu Pokémons (daran erinnert ihr euch sicher noch).

Das Handwerkszeug: Welche AR Tools sind aktuell auf dem Markt?

Es gibt zahlreiche Tools und Plattformen, um ein AR-Projekt zu starten. Grundsätzlich kann man dabei von zwei verschiedenen Kategorien ausgehen: geräteunabhängige Tools, wie Vuforia, ARToolKit, EasyAR, Facebook Camera Effect etc., und geräteabhängige Tools, wie Hololens SDK oder Google Tango SDK.

Der Grundgedanke geräteunabhängiger AR Tools ist: Identifikation und Erweiterung. Vuforia und ARToolKit identifizieren über die Kamera des jeweiligen Gerätes Objekte in der realen Welt. Das können Bilder, QR-Codes oder 3-D-Objekte wie eine Tasse oder ein Ball sein. Sobald das gewünschte Objekt erkannt wurde, kann es um zusätzliche Informationen oder Objekte erweitert werden. Dieser Ansatz ist für eine Großzahl von Anwendungen interessant. So könnte zum Beispiel die in einer Zeitschrift oder einem Buch abgedruckte 2D-Ansicht eines Gebäudes zu einem 3-D-Modell desselben Gebäudes erweitert werden, sobald das Bild mit einer entsprechenden AR-Anwendung betrachtet wird. Dieser Ansatz limitiert jedoch die Art und Weise, wie 3-D-Objekte mit realen Objekten interagieren. Nutzt man ausschließlich Computer Vision, ist es extrem schwer, einen 3-D-Ball über einen tatsächlich existenten Tisch in der realen Welt rollen zu lassen.

Im Gegensatz dazu sind die gerätespezifischen Plattformen von zusätzlichen Sensoren abhängig und speziell für das jeweilige Gerät entworfen worden. Dafür bieten sie weitere, spezielle Features, vor allem Tiefenwahrnehmung und Motion Tracking.

Die Vorteile von Google Tango

Google Tango ist eine Plattform, die ebenfalls Computer Vision verwendet. Gleichzeitig können Geräte mit Google Tango ihre Position relativ zur Welt um sie herum identifizieren und so Böden, Wände oder andere Objekte in unmittelbarer Umgebung erkennen. Dazu verwendet Tango drei Kerntechnologien: Motion Tracking, Area Learning und Tiefenwahrnehmung. Die Sensoren, die dafür benötigt werden, sind schon in einigen der heute verfügbaren mobilen Geräten integriert.

Motion Tracking bedeutet, dass ein Tango-Gerät seine eigenen Bewegungen und Standortpositionen innerhalb eines dreidimensionalen Raums verfolgen kann. Wenn ihr mit einem solchen Gerät unterwegs seid und es nach vorn, hinten, oben oder unten bewegt oder es in jedwede andere Richtung dreht, kann es euch immer sagen, wo es sich gerade befindet und wie es ausgerichtet ist. Das funktioniert ähnlich wie eine Computermaus – anstatt sich aber auf einer flachen Oberfläche zu bewegen, ist die Welt das Mousepad.

Menschen lernen, sich in einer Umgebung zurechtzufinden und ihre eigene Position zu erkennen, indem sie die verschiedenen Gegenstände um sie herum wahrnehmen: Eine Tür, eine Treppe, der Weg zur nächsten Toilette. Tango gibt eurem mobilen Gerät die gleiche Fähigkeit. Durch die alleinige Anwendung von Motion Tracking erkennt das Gerät zwar die visuellen Merkmale seiner Umgebung, erinnert sich aber später nicht mehr daran. Wenn jedoch Area Learning hinzugeschaltet wird, merkt sich das Gerät nicht nur, was es sieht, sondern kann diese Informationen auch abspeichern und, wenn nötig, wieder abrufen. Wenn ihr ein zuvor gespeichertes Areal betretet, nutzt das Gerät einen Prozess, der sich „Lokalisierung“ nennt, um festzustellen, wo genau ihr euch in diesem Areal befindet. Daneben nutzt das Gerät Area Learning auch, um die Genauigkeit des Motion Trackings zu verbessern. In beiden Fällen bietet Area Learning eine breite Palette an kreativen Anwendungsmöglichkeiten.

Dank Tiefenwahrnehmung kann ein Tango-fähiges Gerät die Form von Gegenständen in der unmittelbaren Umgebung erkennen. Damit lässt sich schließlich eine erweiterte Realität erzeugen, in der virtuelle Objekte nicht nur ein überlagerter Bestandteil der aktuellen Umgebung sind, sondern auch tatsächlich mit ihr interagieren können. Ein Beispiel: Ihr erstellt einen virtuellen Charakter, der auf einen Tisch in der echten Welt springt und dann über ihn hinweg schlittert. Dadurch, dass das Gerät auf Informationen zur Tiefenwahrnehmung zurückgreifen kann, können Objekte nun viel natürlicher im Raum platziert und Ebenen und Flächen noch genauer erkannt werden.

In welchem Bereich Google Tango heraussticht

Die besondere Stärke von Tango ist das Area Learning, das Geräten die Möglichkeit gibt, sich an einen bestimmten Ort zu erinnern und dadurch die Objekterkennung über die Zeit hinweg deutlich zu verbessern. Das bedeutet, dass man beliebige Objekte in der realen Welt hinzufügen kann, ein Tango-fähiges Gerät sich den Standort dieser Objekte merkt und darüber seine relative Position im Raum erkennen kann – und Bingo! So kann mit dieser Technologie (in Kombination mit zusätzlichen Polygonnetzen) zum Beispiel eine Indoor-Navigation erstellt werden, die bis auf wenige Zentimeter genau ist. Eine andere Anwendung, die man sich vorstellen könnte, wäre ein virtueller Raum mit Möbeln. Oder ein Spiel, wo die Gefahren buchstäblich hinter jeder Ecke lauern!

Tango-Anwendungen sind nichts anderes als Android-Anwendung, deshalb ist auch die Entwicklung die gleiche: Man kann eine Tango-AR-App ganz einfach im Google Play Store hochladen und sie ist für Millionen von Usern verfügbar. Ein kleiner Haken bleibt: Die Anwendung kann nur von Usern installiert werden, deren Gerät Google Tango unterstützt.