Big Data Management von Punktwolken

-- Deutsch:
Light Detection And Ranging (LiDAR) ist eine Methode, die verwendet werden kann, um Objekte oder Umgebungen als Punktwolke aufzunehmen. In Kombination mit Simultaneous Localization And Mapping (SLAM) ist es mobilen Robotern möglich ihre eigene Position in einer dieser Umgebungen zu bestimmen. Damit können sie verwendet werden, um autonom Punktwolken ihres Umfelds zu erstellen.

Das Institute for Lab Automation and Mechatronics der OST (ILT) hat ihren Roboterhund Spot mit einem LiDAR-Sensor und einem Mini-Computer mit SLAM-Algorithmus ausgestattet. Damit sollen in Zukunft Punktwolken unterschiedlicher Indoor-Umgebungen erstellt werden. Um diesem Ziel näher zu kommen, wird eine Software-Komponente benötigt, die Punktwolken zentral verwaltet und noch während der Aufnahme deren Qualität überprüft werden kann. Dafür wurde im Rahmen dieser Arbeit eine Applikation namens “3D Data Management” entwickelt. Sie ermöglicht es mit mobilen Clients (zum Beispiel Roboter) aufgenommene Punktwolken über eine Schnittstelle an einen Server zu senden. Die empfangenen Daten werden inkrementell in einer Webapplikation dargestellt und können so beinahe in Echtzeit betrachtet werden.

Mobile Clients können 3D-Daten in Form von Punktwolken (Point Clouds) oder Polygonnetze (Meshes) im PLY-Dateiformat an die REST-API der Webapplikation übermitteln. Die übertragenen Daten werden auf dem Server zunächst unverändert als PLY-Datei verwaltet. Zusätzlich werden zu jeder Aufnahme zugehörige Metadaten wie Name, Ort, Zeitpunkt, Dateigrösse und Vorschau in einer PostgreSQL-Datenbank gespeichert. Für die unmittelbare Darstellung der aufgenommenen Punkte im Webbrowser (JavaScript und Three.js) wird die Webapplikation per Websocket-Verbindung mit dem Backend (Python und Django) über neue Aufnahmen benachrichtigt. Am Ende einer Aufnahmesession können die Teilaufnahmen zu einer einzelnen Datei zusammengefügt und als Ganzes verwaltet, heruntergeladen und weiterverarbeitet werden.

Die Funktionalität der Applikation wurde am Ende des Projekts mit dem Roboterhund Spot des ILT getestet. Die Systemtests haben gezeigt, dass die Software alle gewünschten Anwendungsfälle abdeckt. Sie leistet damit einen wichtigen Beitrag zur Vision des ILT. Die Modulare Softwarearchitektur der Applikation bildet eine gute Grundlage für Weiterentwicklungen.

-- Englisch:
Light Detection And Ranging (LiDAR) is a method that can be used to record objects or environments as a point cloud. In combination with Simultaneous Localization And Mapping (SLAM), it is possible for mobile robots to determine their own position in one of these environments. This means that mobile robots can be used to autonomously create point clouds of their environment.

The Institute for Lab Automation and Mechatronics (ILT) has equipped their robot dog Spot with a LiDAR sensor and a mini-computer with a SLAM algorithm in order to be able to create point clouds of different environments in the future. To get closer to this goal, a software component is needed that allows the point clouds to be managed centrally and their quality to be checked while they are still being recorded. For this purpose, an application called "3D Data Management"was developed within the scope of this work. It enables point clouds recorded with mobile clients (e.g. robots) to be sent to a server via an interface and WLAN. The received data is displayed incrementally in a web application and can thus be viewed almost in real time.

Mobile clients can transmit 3D data in the form of point clouds or meshes in PLY file format to the REST API of the web application. The transmitted data is initially managed on the server unchanged as a PLY file. In addition, associated metadata such as name, location, time, file size and preview are stored in a PostgreSQL database for each recording. For the immediate display of the recorded points in the web browser (JavaScript and Three.js), the web application is notified of new recordings via a websocket connection with the backend (Python and Django). At the end of a recording session, the partial recordings can be merged into a single file and managed as a whole, downloaded and further processed.

The functionality of the application was tested at the end of the project with the robot dog Spot of the ILT. The system tests have shown that the software covers all desired use cases. It thus makes an important contribution to the vision of 3D indoor mapping and navigation.The modular software architecture of the application forms a good basis for further developments.