Wird Computervision Tagging-Anwendungen wie ARTigo überflüssig machen?

Eine besonders schnelle und damit effiziente Verschlagwortung von Bildern verspricht die automatisierte Bilderkennung – Computer Vision – mit dem Ziel, Bilder aufgrund ihrer Pixel inhaltlich zu erkennen. Objekte oder sogar Szenen sollen dabei semantisch erkannt werden. Durch diese Form der Bilderkennung können eines Tages große Mengen von Bildern in sehr kurzer Zeit erschlossen werden, schneller, als es Expertensystemen und Folksonomies möglich ist.

An der Ruprechts-Karls-Universität Heidelberg wird unter der Leitung von Prof. Björn Ommer Software entwickelt, die Maschinen befähigen soll, sowohl zu lernen als auch zu „sehen“. Das funktioniert derzeit für den Bereich der mittelalterlichen Buchmalereien gut, weil die einzelnen Bildobjekte Konturen und typische Stile aufweisen, die der Computer mittels eines Algorithmus lernen kann zu erkennen und zu unterscheiden.[1] Noch ist diese Art der Suche allerdings auf Objekte beschränkt, die von einer Kontur umgeben sind. Für die Forschung ist diese Arbeit bereits jetzt interessant, weil damit umfangreiche mittelalterliche Codices nach spezifischen Objekten wie Kronen oder Gesten automatisiert durchsuchbar geworden sind.

Wenn der Computer eines Tages Bildobjekte erkennt, kann er sie deshalb noch nicht bewerten und deuten. Er kennt keine Hierarchie, für ihn sind die Objekte und damit ihre Bezeichnungen gleichrangig. Die Aufgabe einer Differenzierung können jedoch Tags übernehmen: Es ist vorstellbar, dass sie durch Computer Vision nicht etwa überflüssig werden, sondern gerade durch ihr Mehrfachvorkommen Bilddaten mit einer Gewichtung anreichern können.

Als Beispiel soll das folgende Bild dienen. Es stammt aus der ARTigo-Datenbank und enthält gleiche Begriffe, die mehfach eingegeben wurden.

Vincent van Gogh, Vincents Schlafzimmer in Arles, 1889, Chicago (Illinois), The Art Institute of Chicago. Bildquelle: artigo.org

Diese Mehrfacheingaben sind nicht nur das Resultat der Wahrnehmung der Nutzer, sondern auch das Ergebnis ihrer Bewertung. Was sehen und erkennen sie im Bild? Was können sie benennen und taggen? Jeder Nutzer sieht das Bild mit anderen Augen an. Jedem fallen durchaus andere Bildobjekte ins Auge, die er taggt. Die Anzahl der vergebenen Tags veranschaulicht die folgende Tabelle:

Tag Anzahl
Bilder 18
Bett 17
Tisch 15
Stühle 13
rot, grün, Fenster, Zimmer 11
Boden, van Gogh 10
Spiegel, blau 9
Vase 8
Kissen 7
Raum, Handtuch, Glas, Bürste 6
gelb, Kanne, Kleidung, Wand, Gemälde, Tuch, Tür, orange, Decke, Parkett, Rahmen 5
Holz, Gogh, bunt, Schlafzimmer, braun, Interieur 4
Schüssel, Vincent, Innenraum, Öl, Bettdecke, Arles, Dielen, Flaschen, Krug 3
Expressionismus, Duktus, Fensterläden, Nägel, Mütze, Möbel, Impressionismus, Garderobe, Bilderrahmen, Kleiderhaken, Bretter, Kamm, Jacke, hell, Dach, Malerei, schief, Türen, Schublade, Seife, weiss, Wände, Waschschüssel, schwarz, Schale, Korbstuhl, Porträt, Tischbeine 2

Die Objekte, die die Spieler besonders gut identifizierten, waren in diesem Beispiel die Bilder (achtzehnmal) über dem Bett (siebzehnmal). Danach wurden absteigend der Tisch, die Stühle, das Fenster und das Zimmer getaggt. Diese Objekte sind deutlich sichtbar im Bild. Hingegen wurden die kleineren Objekte, wie die Waschschüssel oder die Jacke, jeweils nur zweimal getaggt. Das mehrfache Vorkommen unterschiedlicher Tags hat somit eine Aussagekraft, die genutzt werden kann. [2]

Tags sind momentan für die Verschlagwortung von Bildern nötig.  Funktioniert Computer Visionen eines Tages zuverlässig, sind Tags nicht überflüssig sondern reichern die Bilderkennung durch die Gewichtung, die durch  mehrfach eingegebene Tags entsteht, an. Erst wenn Computer Vision die menschliche Wahrnehmung einigermaßen verlässlich nachahmt, kann man darüber nachdenken, ob man die Tags noch braucht, Aber das liegt, soweit ich es einschätzen kann, in einer sehr fernen Zukunft.

[1] Vgl. http://hci.iwr.uni-heidelberg.de/COMPVIS/research/gestures/ (10.09.2016).

[2] Scherz, Sabine (2017): Kunstgeschichte berechnet: Interdisziplinäre Bilddatenanalyse crowdgesourcter Annotationen. Dissertation, LMU München: Fakultät für Geschichts- und Kunstwissenschaften, S. 46, 87 – 88. (urn:nbn:de:bvb:19-214650)


Ein Gedanke zu „Wird Computervision Tagging-Anwendungen wie ARTigo überflüssig machen?

  1. Pingback: Farbe in der kunsthistorischen Forschung und die Farb-Tags in ARTigo | Computerspiel und Ästhetik

Kommentare sind geschlossen.