VR- and ML-based System for Mental Workload Estimation

Einleitung:
Mentale Arbeitsbelastung (Mental Workload, MWL) ist ein zentraler Faktor in sicherheitskritischen Bereichen wie der Luftfahrt. Besonders Piloten müssen unter Zeitdruck mehrere Aufgaben gleichzeitig bewältigen, was bei Überlastung zu Fehlern führen kann. Eine objektive Echtzeiteinschätzung der MWL ist daher von grossem Interesse. Für Loft Dynamics, dem Auftraggeber des Projekts, wäre es bspw. hilfreich, wenn Instruktoren während eines Trainingsflugs im Simulator den momentanen MWL eines Piloten einsehen könnten – etwa bei anspruchsvollen Manövern, um Überforderung frühzeitig zu erkennen und das Training gezielt anzupassen. Ziel dieser Arbeit ist es daher, die MWL auf Basis von Augendaten zu schätzen, um eine möglichst schlanke und leicht integrierbare Lösung bereitzustellen.

Vorgehen:
Basierend auf einer Vorgängerarbeit wurden ein bestehendes VR-Game sowie eine zugehörige Python-Anwendung zur Datenspeicherung, Vorverarbeitung und Modelltraining übernommen und umfangreich überarbeitet. Im Rahmen dieser Arbeit wurden physiologische Daten von 13 Probanden aufgezeichnet, die zur Entwicklung und Evaluation von Machine-Learning-Modellen genutzt wurden. Ergänzend wurde eine Python-Applikation entwickelt, die in Echtzeit Augendaten aus dem Flugsimulator der Firma Loft Dynamics verarbeitet und diese an ein trainiertes Modell zur Schätzung der MWL übermittelt. Dadurch lässt sich die MWL eines Piloten während des Simulationsbetriebs kontinuierlich schätzen und visualisieren.

Ergebnis:
Mit zwei unterschiedlichen Verfahren zur Feature-Generierung wurden zwei ähnlich gute Modelle erzielt. Die erste Variante, führte zu einem QDA-Modell welches eine Test-Accuracy von 0.52 und einen F1-Score von 0.51 erzielte. Die zweite Variante, resultierte in einem QDA-Modell welches eine Test-Accuracy von 0.48 und einen Macro F1
Score von 0.43 erreichte. Beide Modelle zeigten ähnliche Leistungen, wobei das QDA-Modell in Bezug auf die Test-Accuracy leicht überlegen war.