Machine Learning für Bilderkennung

Aufgabenstellung:
Die Softwarelösung der Firma Trihow soll mit einem Feature erweitert werden, welches durch die Anwendung von Machine Learning Komponenten, Post-it Zettel auf Bilder erkennt die in die Cloud hochgeladen werden. Zusätzlich soll eine synthetische Version des Post-its generiert werden, welche die Farbe und den Text des Originals hat.

Vorgehen / Technologien:
Da das Backend der Softwarelösung auf die Infrastruktur von Firebase setzt, wurden sogenannte Cloud Functions eingesetzt um das verlangte Feature zu implementieren. Durch die Einbindung der Objekterkennungsmethoden von Google Cloud Vision API, konnten Objektbeschreibungen (Labels), Farben und Texte vom hochgeladenem Bild extrahiert und ausgewertet werden. Zum Schluss wurde aus den gewonnen Daten ein SVG-String generiert, welcher in ein JPEG- Bild konvertiert wurde.

Fazit:
Durch das Trainieren eines eigenen Machine Learning Modells mit Google AutoML wurde festgestellt, dass wenn sich das ganze Backend auf Firebase befindet, die Verwendung von Cloud Vision die bessere und auch die kostengünstigere Wahl ist um Objekterkennungsaufgaben zu bewerkstelligen. Auch wenn in Einzelfällen das eigene Modell, bessere Vorhersagen treffen konnte, ob es sich um ein Post-it Foto handelte, gab es verschiedene Gründe die dagegen sprachen. Da sowohl Cloud Vision als auch Firebase zu Google gehört, konnte die Objekterkennung einwandfrei in die vorhandene Softwarelösung integriert und die daraus gewonnen Daten zu einem digitalen Post-it Bild verarbeitet werden, womit das Ziel dieser Arbeit erreicht wurde.