Bildklassifikation mit Hilfe eines neuronalen Netzes

Die Evangelisch-reformierte Kirche Horgen ist im Besitz einer unstrukturierten Bildersammlung, die eine Suche nach Bildern mit bestimmen Merkmalen nicht unterstützt. Die Bilder unterliegen dem Datenschutz, wodurch eine Klassifizierung durch externe Cloud-Dienste nicht gestattet ist. Das Ziel der vorliegenden Studienarbeit war es, eine Machbarkeitsanalyse mit dem Inception-v3 Convolutional Neural Network durchzuführen. Dabei sollte gezeigt werden, ob sich das Netzwerk auch für die Klassifizierung der Bilder der Evangelisch-reformierten Kirche Horgen eignet.

Da die vom Inception-v3 Netzwerk vorgegebenen Kategorien nicht zu den Bildern der Evangelisch-reformierten Kirche Horgen passten, wurde der letzte Layer des Netzwerkes abgeschnitten. Aus den verbleibenden Layern wurde ein siamesisches Netzwerk aufgebaut, mit dem Bildpaare auf ihre Ähnlichkeit hin verglichen werden konnten. Um die Güte des siamesischen Netzwerkes zu messen, wurde mit einer bereits kategorisierten, frei verfügbaren Bilddatenbank, die nicht für das Training des Netzwerkes verwendet wurde, eine ROC-Kurve aufgezeichnet. Anhand dieser Kurve wurden Hyper-Parameter, wie der Threshold für das Clustering und ein Ähnlichkeitsmass, festgelegt. Die Methode der Messung war an dieser Stelle die ROC-Kurve. Die Ergebnisse wurden anschliessend anhand der Kurve analysiert. Die Kosinus-Ähnlichkeit erzielte in Kombination mit den Feature-Vektoren den höchsten AUC-Wert von 0.972 und wurde somit für den Anwendungsfall als geeignet beurteilt. Mit Hilfe des dazugehörigen Threshold-Werts wurde ein Clustering-Algorithmus entwickelt, der durch die Bestimmung möglichst unterschiedlicher Bilder einen Überblick über die Bildersammlung geben soll. Um auch eine auf Schlüsselwörtern basierende Bildersuche zu unterstützen, wurde die Anwendung mit der Google-Bildersuche verknüpft, sodass von Google gelieferte Bilder als Quelle für die Suche ähnlicher Bilder verwendet werden können.

Im Zuge der Studienarbeit ist ein Prototyp entstanden, der n anhand ihrer Winkel die nachfolgendenach dem einmaligen Import einer Bildersammlung durch das Inception-v3 Netzwerk automatisch Feature-Vektoren berechnet und die Bilder in Cluster aufteilt. Nach dem Import können Bilder aus den Clustern oder aus dem Resultat der integrierten Google-Bildersuche als Referenz für die Suche nach ähnlichen Bildern ausgewählt werden. Als Resultat werden dann die Ergebnisse mit der höchsten Ähnlichkeit in der Anwendung angezeigt.

Der erstellte Prototyp lieferte für den Anwendungsfall bereits ohne zusätzliches Training zufriedenstellende Ergebnisse. Limitationen waren vor allem bei Suchanfragen mit mehreren oder abstrakten Merkmalen sowie beim Erkennen von spezifischen Personen gegeben.