Bachelorarbeit F. Bieber

Der Markt von Mixed-Reality (MR) Remote Support Angeboten vergrößert sich seit einigen Jahren stetig um neue Bewerber mit eigenen Produkten. So bietet Microsoft den Dynamics 365 Remote Assist an, oder TeamViewer ihre Assist AR Anwendung. Durch derartige Angebote kann eine vor Ort agierende Arbeitskraft mit zusätzlichem Wissen von remote zugeschalteten Fachkräften ausgestattet werden und somit flexibel mit Szenarien umgehen, für welche das eigene Wissen nicht ausreicht. Während bei zuvor programmierten VR-Trainings oder dem Augmentieren der sichtbaren Umgebung mit vorher bereitgestellten Informationen eher ein Lernszenario entsteht, ermöglichen es MR Remote Support Angebote, in spezifischen Szenarien die Fähigkeiten flexibel zu erweitern. Hierbei werden nicht gezielt die eigenen Fähigkeiten geschult (dies ist wenn dann eher ein positiver Nebeneffekt), sondern temporär um die anderer Fachkräfte erweitert. Somit kann je nach Szenario die Anwesenheit verschiedener Mitarbeiter flexibel simuliert werden und bspw. eine Person vor Ort die Fähigkeiten eines ganzen Teams nutzen. So wird die Gruppenstärke zum Vorteil, anstatt auf eine umfangreiche Palette an Fertigkeiten des Einzelnen zu setzen.

MR Remote-Support Angebote sind dementsprechend aus mehreren Gründen attraktiv für Unternehmen: Die Fähigkeiten verschiedener Mitarbeiter können ortsunabhängiger und flexibler eingesetzt werden. Dadurch fallen den Arbeitsprozess blockierende Faktoren wie die Wartezeit auf die Ankunft spezialisierter Mitarbeiter weg, wodurch nicht nur die Arbeitszeit effektiver genutzt wird und Prozesse beschleunigt werden, sondern auch die Arbeitskraft der Mitarbeiter effizienter genutzt wird.. In Szenarien, bei denen qualifizierte Mitarbeiter sich an weit entfernten Orten befinden, können Reisekosten gespart werden. Insgesamt kann dies auch zu einem geringeren Bedarf an Arbeitskräften führen, da die Verfügbarkeit von Mitarbeitern eines spezifischen Bereichs erhöht wird. MR Remote-Support Anwendungen grenzen sich von einfachen Videochat-Support Anwendungen durch ihren Zusammenhang mit dem Reality-virtuality (RV) Kontinuum ab. Dieses erstmals 1995 definierte Konzept umfasst alle Ausprägungen der Verbindung von Realität und Virtualität, also bspw. das Betreten einer komplett virtuellen Welt mittels VR-Headset, oder auch das Darstellen von virtuellen Objekten in einem Kamerabild der Realität mittels AR-Technologie. Die unterschiedliche Gewichtung des realen und des virtuellen Anteils bestimmt, wo das Szenario auf der RV-Skala platziert ist. Die Ausprägung des virtuellen Anteils der meisten MR Remote-Support Anwendungen ist eher gering. So wird bspw. bei Microsofts Dynamics 365 Remote Assist das Kamerabild der Person vor Ort übersendet, damit ein Spezialist in diesem bspw. Zeichnungen erstellen kann, welche dann mittels AR-Technologie an diesem festgelegten Ort im Raum visualisiert werden. Um derartige Funktionalität zu ermöglichen, wird ein virtuelles Abbild der realen Umgebung erstellt, mit dem die helfende Person interagiert. Hieran lässt sich die geringe Ausprägung der Virtualität gut erkennen, denn das zweidimensionale Kamerabild soll ausreichen, um in einem 3D-Raum zu agieren, ohne das tatsächlich zugrunde liegende dreidimensionale virtuelle Abbild zu kennen.

Da die helfende Person bei Anwendungen mit oben beschriebener Funktionalität nicht das 3D-Modell kennt, in welchem sie agiert und außerdem zu jedem Zeitpunkt darauf angewiesen ist, dass die Person vor Ort ein brauchbares Kamerabild liefert, um Annotationen an die gewünschten Stellen setzen zu können, ist sie in ihren Möglichkeiten eingeschränkt. Der zweite Nachteil kann durch die Kommunikationskomponente der Anwendung etwas ausgeglichen werden. Die Präzision der Annotation ist jedoch nicht nur, da das Modell unbekannt ist, beschränkt, sondern auch durch die Genauigkeit des 3D-Modells an sich. Das heißt, um einen reellen Punkt mittels der virtuellen Repräsentation zu bestimmen, müssen die Oberflächen des Modells möglichst genau die Realität nachbilden, denn ansonsten kann der Nutzen der Annotation negativ beeinflusst werden. Verschiedene Ansätze ermöglichen unterschiedliche Präzision und sind in ihrer Umsetzbarkeit vom Szenario abhängig, so können aufwendige Laserscanverfahren sicherlich sehr genaue Modelle ermöglichen, benötigen jedoch Vorarbeit, um sie in MR Remote Support Szenarien einzufügen; andere Verfahren bieten geringere Präzision, sind aber in derartigen Szenarien leichter anzuwenden. Bisher ist unklar, welche Technik im Rahmen einer solchen Anwendung das am direktesten (ist Vorarbeit nötig, oder ist sie direkt einsetzbar) zu erreichende und zeitgleich präziseste Ergebnis liefert. Da derartige Software in vielen Bereichen angewendet werden kann, ist außerdem wichtig, dass die Technik möglichst leicht zugänglich ist.

In der Bachelorarbeit soll untersucht werden, wie präzise modellbasierte Repräsentationen der Realität verschiedener Ausprägung es ermöglichen, einen virtuellen Punkt im reellen 3D-Raum abzubilden. Da der Bedarf nach spezieller Hardware die Menge der Anwender beschränken kann, liegt der Fokus der Arbeit auf den Fähigkeiten von Apples ARKit, welches zur Nutzung nur ein Gerät mit LIDAR Scanner und eine passende iOS-Version benötigt. Da das ARKit leicht über die Real-Time Development Platform Unity implementiert werden kann und diese im Gegensatz zu einer nativen App mit ARKit Nutzung einen auf diverse 3D-Anwendungen ausgerichteten Workflow bietet, welcher es so z.B. ermöglicht, andere 3D-Modelle leicht mit dem ARKit-Tracking zu kombinieren, soll die Arbeit vor allem im Rahmen von Unity stattfinden. Modellarten, die untersucht werden sollen, sind:

• Einfache Ebenenmodelle (bilden nur große planare Flächen wie bspw. Wände, Böden oder Tische ab)
• Dynamisch mithilfe von Low-Cost LIDAR Scanner generierte 3D-Modelle (wie bspw. mit Apples ARKit erstellt)
• Hochwertige 3D-Referenzmodelle (artifiziell erstellte, bspw. durch 3D-Rekonstruktion von Bauplänen, oder mit aufwendigen Laser-Scanverfahren erstellt)

Der Faktor, der untersucht werden soll, ist die Abweichung der 3D-Positionen zwischen Realität und Abbildung in Längeneinheiten. Die Abweichung wird nicht nur von der Präzision des Modells beeinflusst, sondern auch vom Tracking des Raums. Folglich werden beide unabhängig voneinander untersucht. Dabei soll die Abweichung des Modells durch den Vergleich mit einem Ground Truth Modell bestimmt werden. Sie kann bspw. mit einer Heatmap visualisiert werden. Da die Präzision stark von den zu rekonstruierenden Strukturen abhängt, sollen u.a. folgende Strukturen untersucht werden:

• Große Flächen
• Kanten
• detaillierte Strukturen
• Objekte verschiedener Größe

Das Tracking von Apples ARKit soll hinsichtlich seiner Robustheit untersucht werden (driftet das Modell mit der Zeit?). Außerdem soll der Aufwand, der nötig ist, um die verschiedenen Modelle mit dem Tracking zu kombinieren, und die Größe der Daten der verschiedenen Modelle (da diese bei MR-Support-Software übersendet werden müssen) verglichen werden. Die Arbeit soll als Basis dienen, um sowohl den Nutzen verschiedener Techniken für MR-Support-Software (auch mit Berücksichtigung des Faktors einer anderen Gewichtung der Virtualität in derartigen Systemen), als auch den Nutzen verschiedener Techniken für MR-Anwendungen im Allgemeinen, zu bewerten.

• Bachelorarbeit
• VR
• AR
• Abschlussarbeit
• 2023
• MR Remote Support
• Bieber