Wird Computervision Tagging-Anwendungen wie ARTigo überflüssig machen?

Eine besonders schnelle und damit effiziente Verschlagwortung von Bildern verspricht die automatisierte Bilderkennung – Computer Vision – mit dem Ziel, Bilder aufgrund ihrer Pixel inhaltlich zu erkennen. Objekte oder sogar Szenen sollen dabei semantisch erkannt werden. Durch diese Form der Bilderkennung können eines Tages große Mengen von Bildern in sehr kurzer Zeit erschlossen werden, schneller, als es Expertensystemen und Folksonomies möglich ist.

An der Ruprechts-Karls-Universität Heidelberg wird unter der Leitung von Prof. Björn Ommer Software entwickelt, die Maschinen befähigen soll, sowohl zu lernen als auch zu „sehen“. Das funktioniert derzeit für den Bereich der mittelalterlichen Buchmalereien gut, weil die einzelnen Bildobjekte Konturen und typische Stile aufweisen, die der Computer mittels eines Algorithmus lernen kann zu erkennen und zu unterscheiden.[1] Noch ist diese Art der Suche allerdings auf Objekte beschränkt, die von einer Kontur umgeben sind. Für die Forschung ist diese Arbeit bereits jetzt interessant, weil damit umfangreiche mittelalterliche Codices nach spezifischen Objekten wie Kronen oder Gesten automatisiert durchsuchbar geworden sind.

Wenn der Computer eines Tages Bildobjekte erkennt, kann er sie deshalb noch nicht bewerten und deuten. Er kennt keine Hierarchie, für ihn sind die Objekte und damit ihre Bezeichnungen gleichrangig. Die Aufgabe einer Differenzierung können jedoch Tags übernehmen: Es ist vorstellbar, dass sie durch Computer Vision nicht etwa überflüssig werden, sondern gerade durch ihr Mehrfachvorkommen Bilddaten mit einer Gewichtung anreichern können.

Als Beispiel soll das folgende Bild dienen. Es stammt aus der ARTigo-Datenbank und enthält gleiche Begriffe, die mehfach eingegeben wurden.

Vincent van Gogh, Vincents Schlafzimmer in Arles, 1889, Chicago (Illinois), The Art Institute of Chicago. Bildquelle: artigo.org

Diese Mehrfacheingaben sind nicht nur das Resultat der Wahrnehmung der Nutzer, sondern auch das Ergebnis ihrer Bewertung. Was sehen und erkennen sie im Bild? Was können sie benennen und taggen? Jeder Nutzer sieht das Bild mit anderen Augen an. Jedem fallen durchaus andere Bildobjekte ins Auge, die er taggt. Die Anzahl der vergebenen Tags veranschaulicht die folgende Tabelle: Weiterlesen

Wann ARTigo-Spieler „bunt“ taggen

Die folgende Grafik zeigt, wie „bunt“ die Bilder der untersuchten Künstler (siehe Beschriftung) wahrgenommen wurden. Bei dem von den ARTigo-Spielern eingegebenen Tag „bunt“ handelt es sich nicht um eine explizite Farbbezeichnung, sondern um den Gesamteindruck, den das Bild auf den Nutzer macht.

Um die Grafik verstehen zukönnen, muss man um die Wirkung von spannungssteigernden und -reduzierenden Farbwirkungen wissen, die Kreitler und Kreitler in ihrem Buch „Psychologie der Kunst“ (1980) beschrieben. Sie stellten fest, dass Komplementärkontraste oder Kontraste, die beinahe komplementär wirken, sowie zwei einander ähnliche Farbtöne als spannungsreich empfunden wurden. Grautöne oder Töne zwischen zwei spannungsreichen Farben vermittelten hingegen Entspannung.

Dargestellt werden in der Grafik oben neben den Bunt- auch die Gelb-, Rot- und Beige-Braun-Ocker-, sowie die Grau-Tags, die für ausgewählte Künstler von den ARTigo-Spielern eingegeben wurden.  Angegeben ist der prozentuale Anteil der Farb-Tags an der Gesamtmenge der Tags pro Künstler.

Für diese Grafik wurden die Rot- und Gelb-Tags deshalb ausgewählt, weil Gelb oft sehr hell, Rot eine Farbe mit Signalcharakter sein kann. Auf jeden Fall sind es auffällige Farben, die in Bezug auf Buntheit eine Rolle spielen können. Bei Marc, Monet, Signac und Macke sind jeweils mehr Rot- und Gelb-Tags als Braun-Tags vorhanden, was sich offensichtlich auf die erhöhte Wahrnehmung von „bunt“ durch die Spieler auswirkte.

Es ist erkennbar, dass ein hoher Anteil von Tags im Braun-Bereich sowie für Grau den Eindruck einer Buntheit mindert. Weiterlesen

Das wahrgenommene Farbprofil verschiedener Künstler

Die Untersuchung der Farb-Tags zu verschiedenen Künstlern wurde bereits im Blogpost Welche Beachtung schenken ARTigo-Spieler der Farbe im Bild? dargestellt. Diese Information lässt sich auch in einem Netzdiagramm darstellen, so dass man quasi eine Art „Palette“ erhält. Sie zeigt die Unterschiede in der Verteilung der wahrgenommenen Farbverwendung bei den untersuchten Künstlern.

Deutlich sieht man die Schwerpunkte, die die Tags bei den Bildern eines jeden Künstlers bilden. Die Formen der folgenden vier Grafiken, die sich für Giovanni Giacometti, van Gogh, Macke und Marc ergeben, haben gewisse Ähnlichkeit miteinander. Zwischen ihnen ergeben sich darüber hinaus Verbindungen: Weiterlesen

Welche Beachtung schenken ARTigo-Spielern der Farbe im Bild?

Eigentlich habe ich ja mein Blog abgeschlossen. Andererseits denke ich, dass zu einem „richtigen“ Abschluss auch ein paar Untersuchungsergebnisse gehören. Ich werde in den kommenden Wochen in loser Folge einige Auswertungen, die ich für meine Dissertation vorgenommen habe, auf das Blog stellen.

Die Wortarten in ARTigo

Die Wortarten in ARTigo verteilen sich hauptsächlich auf Substantive, die einen Anteil von 83,3 % aller vergebenen Tags ausmachen, Adjektive mit 12,4 % und Verben mit 3,5 %. Die meisten Adjektive bezeichnen Farben. Es gibt noch weitere Wortarten, aber deren Anteil ist zu gering, um Erwähnung zu finden. [1]

Weil die Farb-Tags in der Regel mehrfach zu einem Bild vorhanden sind, stellte sich mir die Frage, ob ich aus z.B. 20 Rot-Tags, 10 Gelb-Tags und 35 Blau-Tags eine Information herauslesen kann und wenn ja, welche. Ansonsten könnte man sich die Mehrfachspeicherung von gleichen Tags ja sparen, denn auch Speicherplatz kostet Geld.

Die Farb-Tags der Künstler

Die Farb-Tags zu Bildern folgender Künstler werden in dieser Berechnung genauer untersucht: Lovis Corinth, Paul Cézanne, Jaques-Louis David, Maurice Quentin de La Tour, Giovanni Giacometti, Vincent van Gogh, Jean-Auguste-Dominique Ingres, August Macke, Edouard Manet, Franz Marc, Adolph Menzel, Claude Monet, Paul Signac, Alfred Sisley, Georges Seurat und Henri de Toulouse-Lautrec. Exemplarisch werden nur einige von ihnen in den folgenden Abschnitten genauer dargestellt.

Ich möchte ermitteln, ob und welche Unterschiedlichkeiten aufgrund der Farb-Tags zwischen Künstlern bestehen.

In diesem Blog-Post wird ein erster Ausschnitt aus dieser Analyse gezeigt. Die Häufigkeit der Tags wird zunächst mit Balkendiagrammen dargestellt. Auf der y-Achse ist jeweils der prozentuale Anteil der Farb-Tags in Bezug auf die Gesamtzahl der Tags eines Künstlers aufgetragen.

In der Dissertation erkläre ich die Vorgehensweise, wie die Vorbereitung der Daten, Normalisierung etc. Wenn Sie dazu mehr wissen möchten, können Sie es dort nachlesen.[2]

Die Farb-Tags der Bilder Paul Signacs

Bei Signac wurden vorwiegend die Farben Blau (16,8 %), Gelb (12,4 %) und Rot (11,8 %) getaggt. Auch „weiß“ wurde mit einem Anteil von 10,6 % recht oft eingegeben. Die Bilder des Malers wurden von den ARTigo-Spielern mit einem Anteil von 8,8 % mit dem Tag „bunt“ versehen. Der Anteil der Tags im Braun-Bereich ist relativ hoch, jedoch scheint die Farbe sich nicht mindernd auf den Eindruck von „Bunt“ auszuwirken, wie das bei den weiteren untersuchten Künstlern der Fall ist. Es ist zu vermuten, dass dies zum einen an der pointillistischen Malweise liegt, zum anderen an den Komplementärkontrasten, für die Farben Gelb/Orange zu Blau und in etwas geringerem Maße Rot zu Grün.

Anteil der Farb-Tags in Werken von Paul Signac

Die Farb-Tags der Bilder August Mackes

Weiterlesen

Kinder, Kinder – das Original im Museum

Mit diesem Artikel möchte ich aufzeigen, dass die Bedeutung des Originals im Museum angesichts der vielen digitalen Abbildungen im Netz nicht schwinden wird.

Ich möchte dies in Bezug auf meine Arbeit mit Kindern einer heilpädagogischen Kindertagesstätte, an der ich als Weiterer Fachdienst arbeite, darlegen. Diese Kinder im Alter zwischen 3 und 11 Jahren gehören einer Generation an, die mit großer Selbstverständlichkeit mit verschiedenen digitalen Geräten aufwächst.

Die meisten Kinder kommen aus bildungsfernen Elternhäusern, viele Familien sind sozial schwach.

Zu Beginn des Förderjahrs bereitete ich die Kinder mit verschiedenen Maßnahmen auf die einige Monate später geplanten Museumsbesuche vor: Ich verfüge über Kunstkalender, die immer wieder ein neues Bild zeigen und Anlass zur Betrachtung und zum Gespräch geben. Hier kann man sehr schön ein erstes Interesse der Kinder wecken und vertiefen. Weiterlesen

Enthemmte Kreativität und Kunst auf Pinterest: Wohin Museen blicken sollten

Auf Pinterest, das sich selbst „ein Katalog unendlich vieler Ideen“ nennt, können Nutzer Bilder mit Beschreibungen ansehen und an eigene virtuelle Pinnwände „heften“. Damit speichern sie die Pins, um später wieder darauf zugreifen zu können. Pinnen sollte man, wenn man Dinge wiederfinden will, was ansonsten recht schwierig bis unmöglich sein kann.

Zu einem Suchbegriff werden neben den entsprechenden Pins oft auch weitere Kategorien angezeigt, wie der folgende Screenshot zeigt:

pinterest_01 Ich habe mal „van“ „Gogh“ eingegeben und darunter erscheinen weitere Kategorien wie „Art“, „Quotes“, „For Kids“ oder „Tattoo“. Weiterlesen

Frappierende Google-Suche

Neulich fand ich auf meiner Festplatte eine Datei mit einer Grafik und Text, offensichtlich von Vincent van Gogh:vangogh

Interessant war für mich wohl der Zusammenhang zwischen Text und Zeichnung gewesen, denn am linken Rand ist z.B. „le ciel jaune de crome“ zu entziffern. Van Gogh beschreibt in dieser Skizze die spätere Farbgebung des Gemäldes.

Ich wusste überhaupt nicht, woher ich die Datei hatte. Auch nicht, wie sie in van Goghs Werk einzuordnen ist, also aus welchem Zeichenbuch (??) sie kommt. Kurzentschlossen zog ich das Bild in die Google-Bildersuche mit folgendem Ergebnis: Weiterlesen

Spielend lernen – ein Praxisbeispiel

zille-handstand

Spielen ist kein bloßer Zeitvertreib, für niemanden gleich welchen Alters. Kleinkinder, Schüler und Erwachsene lernen nicht nur, aber auch im Spiel. Der Vorteil: Spiele machen meist Spaß. Sind wir begeistert, werden in unserem Gehirn Neurotransmitter ausgeschüttet, die das Einspeichern von Lerninhalten stark begünstigen. Die Formel heißt also:

Begeisterung + Neues = Lernen

Spiele im Unterricht haben zusätzlich den Vorteil, Weiterlesen

Warum man im Museum mehr tun müssen dürfte, als erlaubt ist

Für das Blog „Offen gefragt! Wovon Ausstellungen sonst nicht sprechen,“ das die gleichnamige Ausstellung vom 16.- 29.4. in der bau_werk Halle in Oldenburg begleitet, habe ich mir einige Gedanken gemacht.

Der Artikel zeigt auf, warum Sitzen, Essen, Musik und Tiere im Museum erlaubt sein sollten. Die psychologischen Hintergründe als Schonkost gibt es hier.

 

Noch ein Artikel zum Thema: Stehen, Gehen, Sitzen. Ein Plädoyer für Stühle im Museum.

 

Filmtipp: „Spitze“. Schulen am Wendekreis der Pädagogik

Der Film „Spitze“ von Reinhard Kahl beschreibt das schwedische und finnische Schulsystem. Ich bin sehr beeindruckt, wie die Schweden und Finnen Bildung angehen. Mindestens 70 % eines Jahrgangs erhalten die Hochschulreife (in Deutschland sind es etwas weniger als 50%). Im Film werden Schulen gezeigt, von denen man hierzulande nur träumen kann. Dort hängt Kunst an den Wänden, teuer und nicht gesichert. Sie wird weder Weiterlesen

Die Demokratisierung des Bildungssystems durch digitale Medien

John Thomson - Der Pranger, 1869Im ZEIT-Artikel vom 8.10.2015 „Humboldt gegen Orwell“ zeigen die Autoren Jörg Dräger und Ralph Müller-Eiselt auf, wie sich Bildung verändert hat und weiter verändert wird. Sie nennen als Beispiel, wie MOOCs Menschen erreichen, die sonst keinen oder kaum Zugang zu Bildung haben und dass digitale Technologien personalisiertes Lernen möglich machen.

Persönlich finde ich diese demokratischen Möglichkeiten spannend und frage mich, wie sie zum bestehenden Bildungs- und Erziehungssystem passen. Das ist zur Zeit vom Autoritätsgehabe der Erwachsenen geprägt, die Schülern und Studenten vorschreiben, was und wie sie zu lernen haben und die darüber richten und strafen, wenn etwas nicht so geschieht, wie sie, die Erwachsenen, das vorsehen. Weiterlesen

Mit Gamification gegen AIDS

Böcklin_DiePestGestern sendete das ZDF in den heute-Nachrichten einen Beitrag über die App „I love life“. Diese App wurde von der Anti-AIDS-Organisation love life kreiert. In Südafrika gibt es etwa 7 Mio. registrierte HIV-Infizierte. Unter den 15- bis 49-jährigen ist damit jeder fünfte HIV-positiv. Drei Stunden würde jeder etwa sein Smartphone nutzen und deshalb möchte love life die Menschen mit der App da abholen, wo sie sind.

Das ist wirklich eine gute Absicht. Aber stutzig gemacht hat mich, dass es für Untersuchungen, wie den AIDS-Test, Punkte gibt. Die verdienten Punkte lassen sich in Shopping-Gutscheine und Telefongutscheine umwandeln. Zitat einer Nutzerin: „Wenn ich in die Klinik gehe und einen HIV-Test mache, bekomme ich Punkte, nur weil ich das mache. So macht es Spaß, verantwortungsbewusst zu leben, denn man wird dafür belohnt.“ Weiterlesen

Soziale Spiele und ihr Nutzen für die Gesellschaft

murilloIch denke gerade über den sozialen Gedanken – insbesondere bei Spielen – nach.

Sozial, was bedeutet das?

Soziales Verhalten ist das Verhalten, das Menschen im Umgang und Zusammensein mit anderen zeigen: Was muss der einzelne tun, damit er von anderen akzeptiert und angenommen wird? Was muss er sagen, wie reagieren? Schon die menschlichen Organe sind sozial ausgerichtet: mit den Augen kann man andere sehen, mit dem Mund mit ihnen sprechen, mit den Ohren hören, was sie sagen, mit den Händen andere berühren etc.

Alfred Adler (1870-1937), Begründer der Individualpsychologie, sah den Menschen als soziales Wesen an. Er erkannte, dass der Mensch andere Menschen braucht, dass er nicht ohne sie leben kann. So wird dem Stauferkaiser Friedrich II (1194-1250) folgender Versuch zugeschrieben: Auf der Suche nach der Ursprache isolierte er Babies von ihren Müttern. Die Kinder wurden Ammen übergeben, die sie nur nähren und waschen, nicht aber mit ihnen sprechen oder sie liebkosen sollten. Weiterlesen