Multimedia Tools (Fach) / 09 - MPEG-4 (Lektion)

Diese Lektion wurde von Renato erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• MPEG - Übersicht (A,B,C,D,DASH) MPEG-A Anwendungsformate die eine Vielzahl vom MPEG und nicht MPEG Standards beinhaltenMPEG-B Sammlung von Standards der System-Technologie, die nicht in andere MPEG Standards passenMPEG-C Sammlung von Standards der Video-Technologie, die nicht in andere MPEG Standards passenMPEG-D Sammlung von Standards der Audio-Technologie, die nicht in andere MPEG Standards passenMPEG-DASH Effizientes und einfaches Streaming bei Benutzung existierender HTTP Infrastruktur
• MPEG - Übersicht (E,H,M,U,V) MPEG-E Application Programming Interface (API) für Multimedia MiddlewareMPEG-H Hoch effiziente Komprimierung von Audio und VideoMPEG-M Designs und Implementation von Media-HandlingMPEG-U Technologien mit innovativer Funktionalität zur Verwendung inheterogenen Szenarios bspw. Broadcast, Mobile, Heimnetzwerke, WebMPEG-V Architektur und Informationsrepresentation für Interoperabilitätzwischen der virtuellen realen Welt
• Wozu MPEG-4 ? -Immer mehr Informationen digital zunehmend online bezogen-Audio-visuelle Angebote bestimmen zunehmend das Angebot-Anwendungen und Dienste werden „multimedial“-Benutzerinteraktivität wird fester Bestandteil multimedialer Anwendungen u. Dienste-Im Gegensatz zu MPEG-1/-2 deklariert MPEG-4 neue Funktionen wie Skalierbarkeit der Information und eingeschränkte Benutzerinteraktivität
• MPEG-4 - Verschmelzung von Technologien MPEG-4 ist die Vereinigung von• hoher Kompressionseffizienz• Interaktivität• netzwerkübergreifendem ZugangZiel: Anwendungen ermöglichen, die die Eigenschaften von• TV, Film• Computer• Telefon (auch mobil)kombinieren
• Ziele von MPEG-4 Interaktivität• User based interactivity - innerhalb der Inhalte• wahlfreier Zugriff auf alle in der Szene vorhandenen Objekte und in der Zeit („vor- und rückspulen“)Intellectual Property Rights (IPR)• Identifikation und SchutzIntegration von natürlichen und synthetischen Inhalten• besondere Codierung von synthetischen u. natürlichen Inhalten innerhalb von MPEG (Synthetic-Natural Hybrid Coding SNHC)• Mischung von synthetischen und natürlichen Objekten innerhalb einer Szene• virtuelle Umgebung
• Ziele von MPEG-4 Überall verfügbarer Informationszugang• Zugang durch Mobilfunknetze (effiziente Codierung und kleine Bitraten sind wichtig)• bessere Fehlerrobustheit für Übertragung auch über sehr fehleranfällige Kanäle• unabhängiger Zugang über mehrere Netze• Leistungsanpassung basierend auf den (audiovisuellen) Objekten• unterschiedliche Qualität, Priorität, Fehlerrobustheit für verschiedene Objekte möglich
• MPEG-4 Szene “Bild” als SzeneAufbau der Szene mit verschiedenen Audio- (Sprache, Musik) und Videoobjekten (2D, 3D)  audiovisuellObjekte können natürlich und synthetisch (computergeneriert) sein Beschreibung einer Szene durch den Szenegraph: räumliche und zeitliche Positionierung der einzelnen Objekte Blickwinkel des Betrachters / der Kamera alle Informationen werden mit Hilfe eines komprimierten Binärformat übermittelt (Binary Format for Scenes, BIFS)
• LASeR MPEG-Part20 LASeR = „Lightweight application scene representation“ Wesentliche Eigenschaften:• Szenenbeschreibung, die auf SVG (Scalable Vector Graphics) basiert• Synchronisation zwischen den Medien-Elementen (Streams)• effizientes Updaten von Content• kann andere Formate und Codecs beinhalten (z.B. Flash-Objekte)• Austausch per Datei und per Streamen• komprimiertes Format; für Bandbreiten ab 10 kByte/s• platzsparende Gestaltung der Steuerkommunikation  spezielleAnpassung auf Mobilgeräte (“lightweight”)
• MPEG-4 Audio (7) • Objektorientierung + Wiederverwendbarkeit• Skalierbarkeit des Bitstroms• benutzerorientierte Interaktivität• unterschiedliche Codierung von Musik und Sprache möglich• Sprachsynthese (Text-to-Speech)• Fehlerrobustheit und -verschleierung• 3D-Audio
• MPEG-4 - Videocodierung • jedes Objekt wird einzeln codiert =>  Zugriff auf einzelne Objekte möglich• Objekte sind skalierbar nach Komplexität, zeitlich, räumlich und qualitativ• synthetische Videoobjekte beschrieben durch integrierten VRML-Standard und Tools zur Darstellung und Animation von Gesichtern (facial animation) und Körper (body animation) und Tools zur Darstellung und Animation von 2D-Gittermodellen (2D-meshes)
• Anzeige
• MPEG-4 - Tools (6) • MPEG-4 definiert Toolsammlung von Audio- und Videokompressionsverfahren• Tools sind Verfahren / Algorithmen / Codecs• die berechenbare Komplexität variiert stark in Abhängigkeit vom Wiedergabegerät• es gibt keine alles erfüllende Lösung• manchmal dauert es Jahre von der Idee bis zur Realisierung eines Tools• in dieser Vorlesung nur Auswahl einiger Tools
• MPEG-4 - Tools Object Descriptors:• beschreiben Verhältnis zwischen den elementaren Datenströmen, die zu einem Objekt gehören• können zusätzliche Informationen enthaltenFlexMux:• Flexible Multiplex• fasst viele elementare Datenströme zu einem Datenstrom zusammenIntellectual Property Management and Protection:• Urheberrechte identifizieren und schützen
• Skalierbarkeit Begriffe • MPEG-4 Standard erlaubt nicht nur die Skalierbarkeit einer kompletten Szene, so wie es bei MPEG-2 der Fall war, sondern auch einzelner Videoobjekte• MPEG-4 bietet mehrere Arten der Skalierbarkeit an - im Folgenden sei mit Bitstrom ein Textur-, Bild- oder Videobitstrom gemeint:   • Komplexitätsskalierbarkeit (Complexity Scalability) im Encoder      Erzeugen von Bitströmen verschiedener Größe   • Komplexitätsskalierbarkeit (Complexity Scalability) im Decoder      Abspielen eines festen, gegebenen Bitstroms in verschiedenen         Komplexitätsstufen - dies ermöglicht es, auf schwachen Rechnern nur einen Teil des                    Bitstroms zu dekodieren
• Skalierbarkeit Begriffe (3) Zeitliche Skalierbarkeit (Temporal Scalability)Ermöglicht dem Decoder, nur einen Teil der Frames eines Videos abzuspielen - dabei stehen drei verschiedene Stufen zur VerfügungRäumliche Skalierbarkeit (Spatial Scalability)Ermöglicht dem Decoder, einzelne Media Objekte in reduzierter Auflösung abzuspielen - für unbewegte Bilder stehen 11 Auflösungsstufen zur Verfügung, für Videos dreiQualitätsskalierbarkeit (Quality Scalability)Dabei wird der Bitstrom in verschiedene Ebenen aufgeteilt, so dass bei beliebiger Kombination der Layer trotzdem ein sinnvolles Signal übertragen wird - die Aufteilung erfolgt entweder bei der Übertragung oder beim Dekodieren

zurück  |  weiter 1 / 1