Automatische Qualitätskontrolle für Cinematic VR in Postproduktions-Workflows

Vortrag 59: Sebastian Knorr - Trinity College

Die Erstellung von immersive 360° Filmen für Cinematic VR Erlebnisse ist eine technologische Herausforderung, da zahlreiche technische Beschränkungen sowohl bei der Aufnahme als auch in der Postproduktion die Qualität beeinflussen, insbesondere für stereoskopische 3D VR Filme.

Generell führen diese Beschränkungen zu Artefakten, die visuelle Beschwerden bei der Betrachtung mit Head-Mounted-Displays (HMDs) verursachen können. Diese Artefakte können in drei Kategorien gegliedert werden: binokulare Rivalität, Konflikte von Tiefenmerkmalen und Artefakte, die sowohl in monokularen als auch in stereoskopischen 360° Produktionen auftreten.

In dem Vortrag werden die Gründe für das Auftreten von Artefakten vorgestellt und wie diese während der Postproduktion automatisch erkannt und ggf. korrigiert werden können. Dazu wird ein Verfahren dargelegt, welches stereoskopische 360° Inhalte analysiert und Artefakte lokalisiert und visualisiert.

Das Gesamtsystem besteht aus einer Vorverarbeitungsstufe und einzelner Analysemodule für die Erkennung unterschiedlicher Artefakte. In der Vorverarbeitung werden 360° Panoramen mittels des Voronoi Diagrams in kleinere Regionen (Patches) unterteilt, um Artefakte besser lokalisieren und visualisieren zu können. Ferner werden Bereiche mit erhöhter visueller Beachtung bestimmt, um Artefakte entsprechend der Wahrscheinlichkeit, dass sie im Sichtfeld des Endbenutzers eines HMDs (Viewport) überhaupt auftreten, gewichtet. Ein weiterer Vorverarbeitungschritt ist die Disparitätsanalyse, die neben der stereoskopischen Eingangssequenz Disparitätswerte den Analysemodulen zur Verfügung stellen.

Die Analysemodule analysieren die Patches und erkennen Artefakte wie Farbunterschiede, Schärfeunterschiede, geometrische Verzerrungen, etc. und heben diese während der Postproduktion farblich hervor, so dass aufwendige Renderings und unnötige manuelle Überprüfungen in sogenannten Screening Sessions reduziert werden können.


Über Sebastian Knorr

Sebastian Knorr is Senior Research Scientist within the V-SENSE project at Trinity College Dublin and Lecturer at TU Berlin. His research interests are in computer vision, 3D image processing and immersive imaging technologies, in particular virtual reality applications. Between 2009 and 2016, he was Managing Director of imcube labs GmbH, Germany and General Manager of Beijing imcube Technologies Co., Ltd.. Besides the management of both companies, he also worked on 3D TV, cinema and giant screen projects from BBC, BSkyB, Warner Bros., etc. as 3D post-conversion stereographer. Between 2002 and 2009, he acted as project manager and senior researcher in the Communication Systems Lab at TU Berlin and received the Dr.-Ing. degree (Ph.D.) in computer vision with highest honors in 2008.

Sebastian has been actively involved in several European projects including VISNET, 3DTV, 3FLEX, AutoPost and 3DQC. He is a member of the Institute of Electrical and Electronics Engineers (IEEE),  the Association for Computing Machinery (ACM) and the German Society of Television- and Cinema Technology (FKTG e.V.).  

Sebastian received the German Multimedia Business Award of the Federal Ministry of Economics and Technology in 2008, and was awarded by the initiative “Germany-Land of Ideas” which is sponsored by the German government, commerce and industry in 2009, respectively. In 2012, he received the Scott Helt Memorial Award for the best paper published in the IEEE Transactions on Broadcasting in 2011.

Sebastian frequently works as reviewer for conferences and journals like ACM Siggraph, the Journal of Visual Communication and Image Representation (Elsevier), Signal Processing: Image Communication (Elsevier), the Journal of Selected Topics in Signal Processing (IEEE), the Transaction on Image Processing (IEEE), the Transactions on Broadcasting (IEEE), and the Transactions on Multimedia (IEEE).