Logo Leibniz Universität Hannover
Fakultät für Elektrotechnik und Informatik
Logo Leibniz Universität Hannover
Fakultät für Elektrotechnik und Informatik
  • Zielgruppen
  • Suche
 

Mitglieder der Fakultät erhalten Auszeichnung auf internationaler Konferenz

Best Multimodal Paper Award für den Beitrag „Estimating the information gap between textual and visual representations“

Ein Beitrag des Fachgebiets „Visual Analytics“ (Prof. Ewerth, Institut für Verteilte Systeme) wurde auf der diesjährigen ACM International Conference on Multimedia Retrieval, die vom 6. bis 9. Juni in Bukarest (Rumänien) stattfand, mit dem „Best Multimodal Paper Award“ ausgezeichnet. Insgesamt wurden 95 Beiträge in der Rubrik “Full Paper“ zur Begutachtung eingereicht, von denen 20 zur Präsentation eines Langvortrags auf der Konferenz eingeladen wurden.

Christian Henning und Ralph Ewerth zeigen in dem Beitrag „Estimating the information gap between textual and visual representations“, dass (absichtlich) gemeinsam platzierte Bild- und Textinformationen oftmals keinen hohen inhaltlichen Bezug besitzen, zum Beispiel in Online-Nachrichten. Bislang sind verwandte Arbeiten im Bereich Multimedia Retrieval allerdings in der Regel von dieser Annahme ausgegangen. In dem Beitrag werden zwei Maße eingeführt, die der differenzierten Beschreibung von inhaltlichen Bild-Text-Bezügen dienen: Cross-modal Mutual Information (CMI) beschreibt den Anteil der sowohl im Bild als auch im Text enthaltenen gemeinsamen Informationen, während Semantic Correlation (SC) den Grad der gemeinsamen Bedeutung beschreibt. Schließlich wird in dem Beitrag ein neuartiges auf Deep Learning basierendes System vorgeschlagen und experimentell evaluiert, das automatisch Bild-Text-Zusammenhänge hinsichtlich CMI und SC schätzen kann. Verschiedene Anwendungen sind denkbar für das System: Zum Beispiel können hiermit Suchergebnisse für Online-Nachrichten so optimiert werden, dass der Nutzerin oder dem Nutzer Meldungen mit ereignisspezifischen Bildinhalten zuerst präsentiert werden.

Die Fakultät gratuliert den Preisträgern zu diesem schönen Erfolg!