VR- and ML-based System for Mental Workload Estimation

Einführung
Mentale Arbeitsbelastung (Mental Workload, MW) ist ein entscheidender Faktor für Piloten, da sie unter Zeitdruck zahlreiche komplexe Aufgaben ausführen und gleichzeitig kritische Informationen überwachen müssen. Eine erhöhte MW kann zu „attention narrowing“ führen, wodurch relevante Informationen übersehen werden und die Sicherheit gefährdet wird. Eine präzise Bewertung und Vorhersage von MW wäre daher von grosser Bedeutung. Das Ziel dieser Arbeit war es, zu untersuchen, ob Augendaten, die von einer VR-Brille erfasst werden, ausreichen, um die Herzfrequenzvariabilität (HRV) zu schätzen – einen physiologischen Wert, der eng mit MW verbunden ist. Die Firma Loft Dynamics, die VR-Flugsimulatoren entwickelt, strebt eine Lösung an, bei der auf zusätzliche Sensoren wie Brustgurte verzichtet wird, um die HRV direkt zu messen.
Ansatz
Um die Machbarkeit zu überprüfen, wurde ein VR-Spiel in der Game Engine Unity entwickelt, das drei Schwierigkeitsstufen umfasst, um die MW der Testpersonen gezielt zu variieren. Die während der Spielphasen erfassten Augendaten sowie Herzfrequenz- und Hautleitfähigkeit wurden persistent in einem Python-Backend gespeichert. Mithilfe von Machine Learning wurde die Beziehung zwischen den gesammelten Daten (Augenbewegungen, Herzfrequenzvariabilität, Herzfrequenz und Hautleitfähigkeit) untersucht, um mögliche Korrelationen zu identifizieren und die HRV aus diesen Parametern zu schätzen.
Resultate
Die Ergebnisse der Analyse zeigten, dass in den aufgezeichneten Daten gewisse Korrelationen zwischen Augendaten und HRV erkennbar waren. Insbesondere in Plots liessen sich Trends ableiten, die auf eine mögliche Verbindung hinwiesen. Dennoch konnte kein zuverlässiges Machine�Learning-Modell entwickelt werden, das die HRV präzise auf Basis der Augendaten vorhersagt. Das leistungsstärkste Modell war ein Gradient-Boosting Modell, das den RMSSD (Root Mean Square of Successive Differences) vorhersagte und einen durchschnittlichen Test-MSE (Mean Squared Error) von 37 erzielte. Dieses Ergebnis deutet darauf hin, dass eine Vorhersage grundsätzlich möglich ist. Um jedoch eine robuste und zuverlässige Vorhersage zu erreichen, müssen sowohl die Datenqualität als auch die generierten Features weiter verbessert werden.