FreeCursor MediaPipe API

Problem
Touch-Oberflächen sind für die meisten normalen Geräte üblich ausser für Beamer. Im Moment werden Präsentationen jeweils mit einem Laserpointer bedient. Ein projiziertes Bild hat keine Möglichkeit die Oberfläche auf eine Berührung abzufragen. Mit zusätzlichen Hilfsmitteln wäre es technisch machbar die Koordinaten einer Berührung zu erkennen, dies würde Kosten verursachen und möglicherweise sogar zusätzliche Infrastruktur benötigen.

Ziel
Einerseits soll geprüft werden, in wie weit die MediaPipe Library verwendet werden kann, um Beamer ohne zusätzliche Hardware durch Software und mit der eingebauten Webcam in Touchpads zu verwandeln. Und andrerseits ist es Ziel, eine Beispiel-Software zu entwickeln, die es einem ermöglicht freihändig zu präsentieren und dabei auf dem Bild des Projektors/Bildschirms direkt den Cursor zu steuern.

Methode
Die Grenzen der MediaPipe API ertasten um herauszufinden, ob dieses Tool als mögliches Mittel dienen kann, eine Hand vor dem Bild eines Projektors auf dem Videostream einer eingebauten Webcam zu erkennen. Sofern eine Hand erkannt wird, kann eine digitale Bildtransformation zur Erkennung der Bildschirmkoordinaten der Hand gemacht werden und dann die Gestik ausgelesen werden, welche zur Steuerung des Mauscursors verwendet wird.

Ergebnisse
In der ersten Projektphase wurden die Grenzen der MediaPipe API manuell unter vorher festgelegten Bedingungen ertestet. Diese Bedingungen beinhalteten sowohl Infrastruktur als auch projizierten Bildinhalt. Daraus ergab sich, dass Tageslicht einen grossen Einfluss auf die Stabilität der Funktionsweise der MediaPipe API hat. Weiter ergab sich daraus, dass ein projiziertes Bild, welches stark gesättigte Farbanteile hat, ein Erkennen von Händen mittels der MediaPipe API verunmöglicht. Aus diesen Ergebnissen resultierende Tests haben aufgezeigt, dass ein Lösen dieser Probleme mittels konventionellem Vorgehen in der vorgegebenen Zeit nicht möglich war. Daraufhin wurde die Idee einen Beamer zu steuern verworfen und ein gestengesteuerter Touchscreen-Maus-Treiber für den Nontouch-Bildschirm entwickelt.

Empfehlungen
Für weitere Projekte, welche dieselbe Aufgabe umsetzen möchten empfiehlt es sich die Wahl der Trainingsdaten so zu treffen, dass die Test-Situation ungefähr den in dieser Arbeit beschriebenen Infrastruktur-Szenarien und Hintergrundbild-Dimensionen entspricht. Unsere Lösung zeigt, dass es grundsätzlich möglich ist, einen Beamer softwarebasiert in ein Touchpad zu verwandeln. Damit das Verfahren aber nicht nur für externe Bildschirme sondern auch konventionelle Beamer funktioniert, ist es erforderlich, dass das neuronale Netzwerk, welches zur Erkennung der Gesten verwendet wird, auch mit entsprechenden Bildern trainiert wird.

Schlüsselwörter
MediaPipe API, Beamer-Bedienung, Computersteuerung via Webcam