Das Fraunhofer HHI zeigte auf der IBC 2017 ein neues Medienprofil für das Streaming von Virtual Reality. Das MPEG Omnidirectional Media Application Format (OMAF) soll bis Ende dieses Jahres Standard für das Speichern und Ausliefern von Virtual-Reality-(VR)-Inhalten werden. Die MPEG-Gruppe rückt besonders das sogenannte viewport-dependent Streaming in den Mittelpunkt.
Hinter dem Fachbegriff viewport-dependent, also blickwinkel-abhängig, verbirgt sich eine schlüssige Überlegung: Bei Virtual-Reality (VR) sieht der Betrachter im Headset immer nur einen Ausschnitt des gesamen Bildmaterials – je nachdem, wohin er seinen Kopf wendet. Wieso also das gesamte 360-Grad-Videomaterial stets in voller Auflösung übertragen und decodieren?
Doch genau so wird das bislang praktiziert. Dabei sollen höhere Auflösungen das VR-Erlebnis verbessern – doch die begrenzten Bandbreiten und eine ebenfalls gewünschte niedrige Latenz erschweren dies bislang. Das Fraunhofer HHI nimmt daher das OMAF viewport-dependent Streaming-Profil in sein System auf. Dafür nutzt es die sogenannten HEVC-Tiles, die das HEVC-Video in einzelne rechteckige, voneinander unabhängige Abschnitte unterteilen. Damit möchte das Fraunhofer HHI selbst ultrahochauflösende (UHD) Inhalte trotz begrenzter Bandbreite und Decoderkapazität auf mobile Endgeräte übertragen.
MPEG OMAF: hohe Auflösung, geringer Speicherbedarf
„Wir unterteilen das gesamte 360-Grad-Video in Kacheln, die unabhängig voneinander kodiert werden – deshalb nennen wir unsere Technologie Tile-based Streaming“, erklärt Robert Skupin, Wissenschaftler am Fraunhofer HHI. „In Blickrichtung des Benutzers ist das Bild hochauflösend, hinter ihm niedrig aufgelöst.“ Der wesentliche Unterschied zu bisherigen Verfahren ist, dass das Endgerät entscheidet, welche Kacheln es in hoher Auflösung herunterlädt. Es fügt die Kacheln zusammen, die es für den gewünschten Ausschnitt in der richtigen Auflösung benötigt. Dies spart Rechen- und Übertragungszeit gegenüber bisherigen Verfahren, bei denen eines von mehreren Videos komplett übertragen wurde. Jeder Teil-Ausschnitt, also Kachel (Tile), muss somit nur einmal auf dem Server gespeichert werden . „Die Auflösung ist hoch, die Betriebskosten sind niedrig und die Technologie eröffnet darüber hinaus mehrere Freiheitsgrade in verschiedenen Bereichen, wie zum Beispiel die dynamische Anpassung der Übertragungsraten an die Kanalkapazität“, sagt Skupin.
HEVC ist geeigneter Videocodec
Für virtuelle Welten in hoher Auflösung sind sowohl ein geeigneter Video-Codec wie ein effizienter Übertragungsstandard notwendig. Der Video-Codec existiert bereits in Form von HEVC. HEVC (High Efficiency Video Coding) ist der erste Videostandard, bei dem alle Endgeräte den kachelbasierten Ansatz unterstützen. Daher ist er bereits für Tile-Based Streaming vorbereitet. Der notwendige Übertragungsstandard, das „Omnidirectional Media Application Format“ (OMAF), wird derzeit vom MPEG-Standardisierungs-Gremium entwickelt und soll bis Ende 2017 fertiggestellt sein. Die Fraunhofer HHI-Forscher sind beteiligt: Sie erweitern den Standard, sodass er das Tile-based Streaming ermöglicht, um aktuelle und zukünftige Geräte optimal mit hochauflösendem Video zu versorgen.
Die Forscher des Fraunhofer HHI bringen die HEVC-basierte Technologie auch in das VR Industry Forum (VRIF) ein. Das VRIF möchte die Verbreitung von qualitativ hochwertigen audiovisuellen VR-Erlebnissen fördern. Auf der IBC 2017 präsentierte das VRIF den ersten Entwurf seiner Branchenrichtlinien. Diese möchten es erleichtern, qualitativ hochwertige VR-Erfahrungen zu liefern. Endgeräte sollen in einem offenen Ökosystem herstellerübergreifend zusammenarbeiten. Teil dieser Richtlinien ist auch das MPEG OMAF viewport-dependent Streaming-Profil. Das Fraunhofer HHI stellte seine Implementierung dieses Streaming-Profils auf der IBC vor.
