Kaffeerösten mit AI

Ausgangslage

Mikafi stellt Kaffeeröster her, die in der Gastronomie eingesetzt werden sollen. Aktuell wird vor einer Röstung ein Röstprofil ausgewählt, das verschiedenene Parameter, zum Beispiel Temperatur oder Dauer, über die anstehende Röstung bestimmt. Das Endprodukt einer Röstung hängt stark von äusseren Einflüssen, wie Raumtemperatur oder Luftfeuchtigkeit, ab. Da nicht bei allen Kunden die gleichen Umstände garantiert werden können, soll nun ein gewähltes Röstprofil während einer Röstung laufend angepasst werden, damit ein ideales Resultat entsteht. Dafür werden während einer Röstung Bilder der Kaffeebohnen aufgenommen und deren Röststatus untersucht. Hier setzt die Bachelorarbeit ein. Das Ziel der Arbeit ist es, Bohnen auf Röstungsbildern anhand eines Machine Learning Modelles auszumachen und anhand der Farbe der erkannten Bohne den Röstgrad zu bestimmen. Die Bilder werden von mikafi geliefert.

Vorgehen

Die Arbeit wurde in vier Teile eingeteilt: Datenaufbereitung, Bohnenerkennung, Kategorisierung und Pipeline. Als erstes wurde sich um die Datenaufbereitung gekümmert, indem die Kaffeebohnen auf den gelieferten Bildern als Polygon eingezeichnet wurden. Dabei wurden Vorder- und Rückseite der Bohne unterschieden. Die getaggten Bilder dienten anschliessend als Trainingssatz für die Objekterkennungsmodelle Haar-Cascade, YOLO und Mask-RCNN. Nachdem die Bohnenerkennung die Anforderungen erfüllte, wurde die Kategorisierung angepackt. Es wurde versucht die Kategorisierung direkt mit Mask-RCNN, über Clustering oder mit einem separaten Neuronalen Netzwerk mit Regression zu lösen.
Am Schluss wurden Bohnenerkennung und Kategorisierung zu einer Pipeline zusammengesetzt, damit die Modelle einfach ausgeführt und auf neue Datensets angepasst werden können. Sämtlicher Code und Scripts wurden in Python realisiert. Als Testhardware kam ein Raspberry Pi 4 zum Einsatz.

Ergebnisse

Im Folgenden werden die Resultate der Arbeit gelistet. Da sich die Datenaufbereitung als zeitaufwändig erwies, wurde auf Basis der ersten von Hand getaggten Kaffeebohnen ein Autotagger entwickelt, der für neue Datensets automatisch Polygone einzeichnet. Für die Bohnenerkennung wurde die Mask-RCNN Implementierung aus Detectron2 von Facebook AI Research verwendet. Da ein Raspberry Pi 4 für die Bohnenerkennung mehr als 20 Sekunden benötigt, wurde Vorgeschlagen, die Berechnungen auf AWS auszulagern oder spezialisierte Hardware, wie einen Nvidia Jetson Nano, zu verwenden. Durch Testen verschiedener Ansätze zur Farberkennung wurde herausgefunden, dass die Bildqualität der bestehenden Datensets nicht ausreicht, um die gewünschte Präzision zu erreichen. Abschliessend wurde das Training und die Datenaufbereitung so weit wie möglich automatisiert, um den zukünftigen Gebrauch zu vereinfachen.