ReCAP: Automatische Metadatenextraktion aus Dateien und Livestreams

Vortrag 43: Georg Thallinger  - Joanneum

Der Wunsch der Konsumenten, Medieninhalte jederzeit, überall und auf den unterschiedlichsten Plattformen zu konsumieren, stellt eine Herausforderung für die Produktionsworkflows dar. Viele der neuen Angebote und Dienste erfordern zeitbasierte Metadaten, um Inhalte auffindbar zu machen und zu strukturieren. Sowohl die Metadatenextraktion als auch die Qualitätssicherung für eine Vielzahl von Formaten ist nur automatisiert zu bewältigen.

In den letzten Monaten sind viele Werkzeuge für Metadatenextraktion auf den Markt gekommen. Manche davon sind High-end Lösungen, die nur für größere Medienproduzenten leistbar sind, und andere sind rein cloudbasierte Lösungen, die es einerseits erfordern Content in die Cloud zu bringen und andererseits erst in die bestehende Infrastruktur integriert werden müssen. Diese Lösungen sind daher für die große Zahl an kleinen und mittleren Produktionsfirmen, regionalen Rundfunkanstalten und anderen Medienproduzenten (z.B. interne und externe Unternehmenskommunikation) nicht zufriedenstellend.

Das seit Ende 2016 laufende EU Projekt ReCAP (Real-time Content Analysis and Processing, mit Partnern aus Deutschland, Österreich und dem Vereinigten Königreich) entwickelt daher eine skalierbare Software Plattform für Content Analyse und Verarbeitung, die sowohl auf dedizierter Hardware oder in einer privaten oder öffentlichen Cloud laufen kann. Das System besteht aus einer Media Processing Engine, die frei konfigurierbare Analyseworkflows verteilen und ausführen kann. Eine Datenbank zur Indizierung der extrahierten Metadaten (unter Verwendung von Elastic Search) und eine vollständig web-basierte Benutzeroberfläche sind ebenfalls Teil der Plattform. Diese Komponenten können aber durch Funktionalität aus einem Media Asset Management System (MAM) ersetzt werden, in das die Processing Engine integriert wird. Die automatischen Extraktionsmodule umfassen unter anderem zeitliche Strukturierung, Personendetektion und -erkennung, Texterkennung, Spracherkennung, Logoerkennung und visuelle Ähnlichkeit, sowie eine Reihe von automatischen Qualitätsanalysemodulen (z.B. Rauschen, Macroblocking, Dropouts). Die Analysemodule sind als Gstreamer Plugins implementiert, sodass neue Funktionalitäten sehr einfach hinzugefügt werden können. Die Plattform unterstützt sowohl die Verarbeitung von Dateien (z.B. zur Analyse von Archivmaterial) als auch von Livestreams.

Das Projekt wird im Frühjahr 2018 abgeschlossen, und die Projektergebnisse werden in Form eines neuen Produkts für die Anwender verfügbar sein.


Über Georg Thallinger

Georg Thallinger ist Leiter des Geschäftsbereichs „Smart Media Solutions“ in der Forschungsgruppe „Connected Computing“. Er studierte Telematik an der Technischen Universität Graz und ist seit 1992 bei JOANNEUM RESEARCH tätig.

Er war Lehrbeauftragter an der Fachhochschule JOANNEUM. Er arbeitet am Institut DIGITAL mit dem Fokus auf Lösungen im Bereich inhaltsbasiert Analyse und Suche audiovisueller Medien für die Anwendungsgebiete Sicherheit, Medienproduktion und Monitoring sowie audiovisuelles kulturelles Erbe.

Er hat eine Vielzahl von nationalen und internationalen Projekten geleitet (z.B. DIAMANT, SALERO, FascinatE) und ist derzeit Koordinator nationalen Projektes SIMMARC.