Re-Composition of Distributed Social Media Content

(english summary below)
Mit zunehmendem Alter des Social Media steigt die Anzahl der geteilten Multimediadaten (Fotos und Videos) der sozialen Netzwerke, wie beispielsweise Facebook, rasant an. Freunde fotografieren oder filmen sich gegenseitig auf gesellschaftlichen Anlässen und teilen dies, dank der steigenden Nutzung von Smartphones mit hochauflösenden Kameras, direkt über die sozialen Netzwerke. Die Nutzer markieren Freunde in den multimedialen Inhalt, kommentieren diesen und fügen einen Titel, sowie eine Beschreibung hinzu. Jedoch liegen die meisten Daten in verschiedenen Alben, Accounts, Plattformen und Geräten verstreut. Dies macht es für den Nutzer später sehr schwierig, alle verteilten Daten einer Veranstaltung wiederzufinden. Vor allem wenn die Metadaten des EXIF-Header im weltweit größten Fotosharing-Netzwerk (Facebook) entfernt werden. In dieser Dissertation führen wir einen ganzheitlichen Ansatz ein, der es den Nutzern mit wenig Aufwand erlaubt, ihre verteilten Multimediadaten von gesellschaftlichen Anlässen im Social Media wiederzufinden und daraus ein multimediales Produkt, wie zum Beispiel ein Fotobuch, zu erstellen. Unser Ansatz besteht aus den folgenden Schritten:

• Event Clustering: Wir führen einen neuen Ansatz ein, welcher Multimediadaten derselben Veranstaltungen von unterschiedlichen Kontakten im sozialen Netzwerk clustert. Für diese Aufgabe haben wir visuelle, soziale und strukturbasierte Features entwickelt, um Inhalte derselben Veranstaltung zu verbinden.
• Verknüpfen der verteilten Inhalte zwischen Social Media und persönlichen Geräten: Viele Nutzer verwenden ihr Telefon, um ihre Inhalte zu durchsuchen. Wir

zeigen einen Ansatz, um die Inhalte auf dem Telefon mittels Gesichtserkennung mit verwandten Inhalten auf Facebook zu verschmelzen. • Datenzusammenfassung: für einige soziale Ereignisse existieren übermäßig viele Multimediadaten. In diesem Schritt fassen wir die Fotos und Videos aller sozialen Events zusammen, um die Größe des multimedialen Produktes anzupassen. Um die Zufriedenheit des Nutzers zu maximieren, verwenden wir hierzu den sozialen Kontext, indem wir die Interessen des Nutzers und die visuelle Qualität der Daten berücksichtigen. • Produkterstellung: Im letzten Schritt erstellen wir aus den ausgewählten Daten der sozialen Ereignissen ein ästhetisches multimediales Produkt, wie beispielsweise ein Fotobuch. Für dieses wird automatisch ein ästhetisches Layout erzeugt, welches wiederum mit semantischen Informationen, wie Texte und Karten, angereichert wird. Wir haben jeden Schritt unseres Ansatzes evaluiert und zeigen einige Anwendungen, die unseren Ansatz ausnutzen.
With the rising age of social media, shared multimedia contents on social networks such as Facebook are rapidly growing. Friends take photos and videos of each other when attending a social event, and the increasingly growing use of smart phones with highresolution cameras facilitates sharing many of these contents directly in common social networks like Facebook. The users tag these media contents with friends, comment on them and add captions and descriptions. However, these media contents remain very scattered between different albums, social accounts, platforms and devices. It becomes very difficult for the user to search and compile the whole contents of an event later on, especially with the current absence of the metadata related to the EXIF header in the largest photo sharing network (Facebook). In this PhD thesis we introduce a holistic approach to allow the users to re-collect and compose multimedia products from their social events in social media with the minimum effort. Our approach covers the following composition steps:

• Event clustering: We introduce a novel approach for clustering the photos and videos of the same social event scattered over different social contacts in social networks.

For this task we employ visual, social and structure-based features to connect the contents of the same event. • Re-Connecting the distributed contents between social media and personal devices:

More users are using their phone to browse their contents. We introduce a fusion approach that exploits a face recognition approach to link the contents on the smart phone to their related ones on Facebook. • Content summarization: Some social events might be overrepresented with multimedia contents, and in this step we automatically create a summary of the photos and video frames of each social event to fit the size of the multimedia composition. To maximize the satisfaction of the user we take the social-context, the interest of the user and the visual quality of each of the content into consideration. • Product creation: In the last step we compile the selected contents of the social events in an appealing multimedia product such as a photo book by automatically creating an aesthetic layout and enriching the layout with semantic information in a storytelling form.
We evaluate each of the steps of our approach, and we show some of the real-life applications that resulted from our overall approach.