Inhalt dieser Seite:
Augmented Reality
Obwohl die ersten Augmented Reality Systeme schon lange Zeit zuvor enwickelt wurden, hat erst Tom Caudell den eigentlichen Begriff „Augmented Reality“ 1992 definiert, um seine Erfindung den Technikern von Boeing zu erklären. Unabhängig von der Komplexität seiner technischen Entwicklung, hat er grundlegend folgende Aussage getroffen:
Augmented reality is the interaction of superimposed graphics, audio and other sense enhancements over a real-world environment that’s displayed in real-time.
-Tom Caudell
1997 wurde diese Defintion durch Ronald T. Azuma leicht angepasst. Die wesentliche Änderung besteht darin, dass durch Azuma alle Systeme aus seiner Defintion von Augemented Reality ausgeschlossen werden, die keine Informationen in der realen Welt verankern, sondern nur sogenannte Interface-Informationen anzeigen. Dies sind Informationen, die unabhängig von der Blickrichtung des Benutzers immer dieselbe Stelle in seinem Sichtfeld einnehmen. Hiermit schaffte Azuma den Begriff von Augmented Reality im „engeren“ Sinne.
Augmented Reality are systems that have the following three characteristics:
1) Combines real and virtual
2) Interactive in real time
3) Registered in 3-D-Ronald T. Azuma
Über die Jahre wurde diese Definition fortlaufend mit der Weiterentwicklung der Technologie angepasst, doch es blieb ein Aussagekern erhalten, der sich heute auf Wikipedia wiederfindet.
Unter erweiterter Realität (auch englisch augmented reality [ɔːɡˈmɛntɪd ɹiˈælɪti], kurz AR [eɪˈɑː]) versteht man die computergestützte Erweiterung der Realitätswahrnehmung. Diese Information kann alle menschlichen Sinnesmodalitäten ansprechen. Häufig wird jedoch unter erweiterter Realität nur die visuelle Darstellung von Informationen verstanden, also die Ergänzung von Bildern oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung/Überlagerung.
-Eintrag in Wikipedia
Historie
Die erste Entwicklung im Bereich der Augmented Reality ist nicht eindeutig dokumentiert und auch zu den zentralen Meilensteinen der Technologie bestehen unterschiedliche Auffassungen. Nachfolgend sind beispielhaft einige Meilensteine in der Entwicklung von Augmented Reality aufgelistet.
| 1901 | Die Idee für Augmented Reality wurde bereits im Roman „The Master Key“ von L. Frank Braun, dem Author von „The Wizard of Oz“ beschrieben. Hier gibt ein Dämon einem Jungen eine Brille, welche die Charaktereigenschaft der Personen um ihn herum einblendet. |
| 1930 – 1950 | Die Entwicklung von HUD’s ( Heads-up-Displays) für Kampfflugzeuge nimmt seinen Anfang. Auf den Frontscheiben von Kampfflugzeugen werden wichtige Informationen eingeblendet, sodass der Pilot nicht auf die Armaturen gucken muss. |
| 1962 | Morton Heilig patentiert ein Gerät mit den Namen „Sensorama“. Das Gerät kann Gerüche simulieren. Auch der Tastsinn kann damit stimuliert werden. |
| 1965 – 1968 | Ivan Sutherland veröffentlichte 1965 ein Paper zur Möglichkeit von HMD’s ( Head mounted displays ) und beginnt 1966 mit Raymond Goertz einen Prototypen zu entwickeln. 1968 stellt er die erste funktionsfähige „Brille“ vor, die virtuelle Daten anzeigen konnte. |
| 1992 | Tom Caudell und David Mizell entwicklten im Rahmen ihrer Tätigkeit für Boeing ein mobiles System, um das bis dahin eingesetzte sehr kostenintensive System zu ersetzen, in welchem mit Schalttafeln die individuellen Schaltungen für jedes Flugzeug enthalten waren. Caudell und Mizell entwickelten geeminsam eine Augemented Reality-Brille zur Unterstützung der Techniker. Zur Erklärung ihrer Erfindung verwendeten und definierten sie den Begriff „Augmented Reality“. |
| 1992 | Steven Feiner, Blair MacIntyre und Doree Seligmann reichen ein Paper ein, das das System KARMA (Knowledge-based Augmented Reality for Maintenance Assistance) beschreibt. |
| 1993 | Ein Team um Loomis entwickelt einen Prototypen, der blinden Leuten helfen soll in der Außenwelt zu navigieren |
| 1994 | Paul Milgram und Fumio Kishino definieren das Virtual-Reality Continuum. |
| 1996 | Jun Rekimoto stellt den ersten 2D-Marker vor und legt damit den Grundstein für „visual-based marker tracking“. |
| 1997 | Steven Feiner stellt das System MARS ( Mobile Augmented Reality System ) vor. Dieses erste mobile Augmented Reality System bestand aus einer Augmented Reality-Brille, einem GPS-Empfänger, einem Rucksack mit einem Computer und einem Touchpad für die Interaktion und diente als Campus-Guide mit dem Informationen zu verschiedenen Gebäuden auf einem Universitätsgelände eingeblendet werden konnten. |
| 1998 | Der „1st & Ten Computer“ kommt zum ersten mal zum Einsatz. Dieser blendet in einer Live-Übertragung eines American Football Spiels eine virtuelle gelbe Line an der Stelle des sogenannten „first down“ ein. |
| 1999 | Hirokazu Kato veröffentlicht ARToolkit. Außerdem wird die Firma Total Immersion gegründet. |
| 2000 | Bruce Thomas entwickelt AR-Quake. Obwohl dies technisch gesehen das erste AR-Game ist, kostet die nötige Hardware dafür zum damaligen Zeitpunkt ungefähr 1000$. |
| 2000 | Die Navy stößt das Forschungsprojekt BARS ( Battlefield Augmented Reality System ) an |
| 2003 | Erstes AR-Spiel für Handys. Durch das Scannen eines Markers werden virtuelle Mücken eingeblendet, die vom Nutzer gejagt werden können. |
| 2004 | Mathias Möhring blendet zum ersten mal ein 3D-Objekt mittels Augmented Reality ein. |
| 2006 | Nokia stößt das MARA ( Mobile Augmented Reality Application ) Projekt an. |
| 2008 | In einem Museum in Japan wird ein AR-Guide eingeführt. |
| 2009 | Eine erfolgreiche Umsetzung von SLAM ( Simultaneous Localisation and Mapping ) führt zur ersten Versionen des „markerlosen Trackings“ |
| …. |
Aus der aufgezeigten Entwicklung von Augmented Reality lässt sich aufzeigen, dass es in Verbindung mit der jeweiligs verfügbaren Hardware immer wieder Entwicklungszyklen gab, in denen sich die Technologie in kurzer Zeit signifikant weiterentwickelt hat. Mit der zunehmden Verbreitung von Smartphones und weiteren leistungsfähigen Endgeräten hat sich der Markt der Augmented Reality vielfältig entwickelt und kommt aktuell in immer mehr Bereichen zum Einsatz. Den zahlreichen Anwendungen vo n Augmented Reality im Consumer-Bereich stehen allerdings bisher nur vereinzelt industrielle Anwendungen gegenüber. Beispiele für den Einsatz von Augmented Reality im industriellen Umfeld sind die Unterstützung von Kommissioniertätigkeiten in der Logistik oder die Unterstützung von Servicetechnikern bei der Instandhaltung von technischen Anlagen. Darüber hinaus bestehen zahlreiche Ansätze, vielfach auf Basis neuer, bereits angekündigter AR-Hardware, die in naher Zukunft umgesetzt werden sollen.
Hardware
Dieser Abschnitt beschäftigt sich mit der benötigten Hardware zur Umsetzung von Augmented Reality Anwendungen. In der Theorie braucht man drei Komponenten für visuelle Augmented Reality:
- Eine Kamera, um die Umgebung zu erfassen
- Ein Display, um die virtuellen Information darzustellen
- Einen Prozessor, um das Display anzusteuern und die virtuellen Informationen zu verwalten
Aus diesen Grundanforderungen lassen sich für die aktuelle praktische Umsetzung drei Kategorien geeigneter Hardware ableiten:
- Mobile Endgeräte ( Smartphones und Tablets )
- AR-Brillen
- Sonstige ( Head-up-Displays, AR-Billboards, Yellow Line, Magic Leap )
Mobile Endgeräte
Unter die erste Kategorie fallen alle mobilen Endgeräte (Handheld) mit einer Kamera, einem Prozessor und einem Display. Das jeweilige Betriebssystem (IOS, Android, Windows, etc.) des Handhelds spielt bei der Entwicklung von AR-Lösungen keine Rolle. Erst die hohe Leistungsfähigkeit und die weite Verbreitung von mobilen Endgeräten hat dafür gesorgt, das AR dem breiten Publikum zugänglich gemacht wurde.
AR-Brillen
Die zweite Kategorie sind spezielle Augmented Reality Brillen. Diese halbtransparenten Datenbrillen ermöglichen die Einblendung von virtuellen Informationen unmittelbar in das Sichtfeld des Nutzers. Dabei wurden sowohl monokulare Systeme entwickelt, wie z.B. Google Glass als auch binokulare Systeme, wie z.B. die HoloLense. In den meisten Fällen sind diese Datenbrillen für eine bestimmte Zielgruppe oder Anwendung entwickelt worden. Anwendungsbeispiele sind hier der Einsatz in der Instandhaltung, der Kaufberatung oder die Aus- und Weiterbildung von Fachkräften, aber auch Spiele für den Consumer-Bereich. Aufgrund der aktuell sehr dynamischen Marktentwicklung und der vielen Ankündigungen von Neuentwicklungen sind für die nächsten Jahre zahlreiche neue Hardwareentwicklungen im Bereich Augmented Reality zu erwarten.
Sonstiges
Einige weitere für den Einsatz von Augmented Reality entwickelte Lösungen lassen sich keiner der zuvor genannten Kategorien zuordnen. In diese Kategorie fallen zum Beispiel Flugzeug oder Fahrzeug Head-Up-Displays ( Continental ) oder das 1st & Ten Computersystem für den Live-American Football.
Ein anderes Beispiel sind AR-Billboards. Mit AR-Billboards werden die Umgebung gefilmt und in Echtzeit virtuelle Objekte eingeblendet, welche dann auf einer großen Leinwand dargestellt werden. Ein Beispiel für ein solches AR-Billboard ist momentan auf dem Canberra Airport im Einsatz. Eine spezielle Form des AR-Billboards sind die sogenannten Virtual Dressing Rooms, in denen der Benutzer verschiedene virtuelle Kleider anprobieren kann.
Augmented Reality in der Praxis
Unabhängig von seiner theoretischen Definition kann man Augmented Reality in der Praxis in zwei Phasen und vier Elemente unterteilen. Man hat in allen Fällen eine Trainings- und Nutzungsphase und zu jeder AR-Anwendung gehören mindestens ein AR-Marker, ein Trackingverfahren, ein Sensorinput (Real World Input) und mindestens eine virtuelle Information.
Phasen der Entwicklung einer Augmented Reality Anwendung
Trainingsphase
In der Trainingsphase werden die Merkmale von einem oder mehreren AR-Markern trainiert, damit sie in der Nutzungsphase wiedererkannt werden können. Für gewöhnlich findet dieses Training vor der Veröffentlichung der AR-Anwendung statt, sodass der Endnutzer von der dieser Phase nichts mitbekommt. Eine Ausnahme bildet das „Markerless Tracking“. Dort wird beim ersten Setzen der virtuellen Information der Hintergrund erfasst und die natürlichen Features werden extrahiert. Diese Features dienen dann als „on-the-fly“ marker. Jedes System muss dabei auf die Suche nach bestimmten Merkmalen trainiert werden.
Nutzungsphase
In AR-Anwendungen werden die AR-Marker mit einem oder mehreren virtuellen Informationen verknüpft. In der Nutzungsphase sucht die AR-Anwendung im Real World Input dann nach den Merkmalen der AR-Marker und blendet die entsprechenden virtuellen Informationen ein, sobald sie einen Marker gefunden hat. Daraufhin wird die Position und Sichtbarkeit der virtuellen Informationen, basierend auf dem eingesetzten Trackingverfahren, angepasst.
Bestandteile einer Augmented Reality Anwendung
AR-Marker
AR-Marker können sowohl visuelle als auch örtliche (GPS-Koordinate) oder akustische Signale (ein bestimmter Sound) sein. Für die Augmented Reality Anwendung wird über die Erkennung des Markers die Anzeige der virtuellen Informationen ausgelöst. Zusätzlich können die trainierten Features für das markerlose Tracking als AR-Marker betrachtet werden.
Trackingverfahren
Unter Trackingverfahren werden die Methoden zur Bestimmung der Position sowie zur Skalierung des AR-Markers relativ zum Nutzer bzw. zum Sensorinput betrachet. Beispiele sind das visuelle oder das Tracking über GPS-Koordinaten.
Sensorinput (Real world Input)
Da das visuelle Tracking für AugmentedReality Anwendungen sehr verbreitet ist, wird in der Regel das Kamerabild des genutzten Endgeräts als Sensorinput genutzt. Werden akustische Marker eingesetzt kann der Real World Input über Mikrofone erfolgen, bei GPS-basierten Markern über ein entsprechendes GPS-Modul.
Virtuelle Information
Heutzutage können die meisten Geräte eine Vielzahl von Informationen einblenden. Einige Beispiele hierfür sind nachfolgend genannt:
- Text : Dies kann entweder frontal zum User gerichteter 2D-Text sein oder sogenannter 3D-Text, welcher frei im Raum schwebt.
- Bilder: Dies können 2D-Bilder sein, Bilder die auf ausgewählte Bereiche der realen Welt projiziert werden oder beim Einsatz von AR-Brillen auch stereographische Bilder sein.
- Videos: Videos werden entweder als Fullscreen Videos angezeigt oder , bei fortgeschrittenen AR-Anwendungen, auf Flächen in der realen Welt projiziert.
- 3D-Modelle: Durch die Nutzung von Technologien aus der Spielbranche lassen sich vollständig interaktive und animierte 3D-Modelle in den Raum projizieren.