Fundamentals of Multimedia Second Edition

Wenn du irgendetwas mit Medien baust – Apps, Spiele, Websites –, erklärt dir dieses Buch die Maschinerie unter deinen Werkzeugen. Es eignet sich für Studierende in Multimedia- oder Informatikkursen sowie für arbeitende Entwickler, die die Theorie nie hatten. Die Mathematik ist echt, aber immer an ein praktisches Format gebunden, das du bereits nutzt, etwa JPEG oder MP3, sodass nichts in der Luft hängt.

1. 1Kap. 3 (Digitale Bilder), Kap. 5 (Farbe)

   Ein Bild ist ein Gitter aus Zahlen

   Öffne ein beliebiges Foto auf deinem Handy und zoome weit genug hinein: Das glatte Gesicht löst sich auf in ein Rechteck aus winzigen farbigen Quadraten. Hier setzt das Buch an, bei der Digitalisierung von Bildern — eine kontinuierliche Szene wird in diskrete Pixel abgetastet, von denen jedes nur eine Zahl für die Helligkeit ist. Dann macht die Farbe alles komplizierter: Das menschliche Sehen reagiert auf drei Arten von Rezeptoren, also führt das Buch Tristimulus-Werte ein und zeigt, wie Displays jede Nuance vortäuschen, indem sie drei Primärfarben mischen. Was wie ein reichhaltiges Foto aussah, entpuppt sich als Arithmetik — Millionen kleiner Zahlen, die jeweils vorgeben, Licht zu sein.

   Die Idee

   Digitalisierung ist ein Handel: Du tauschst eine unendliche, kontinuierliche Welt gegen eine endliche Liste von Zahlen, und die Schritte der Abtastung und Quantisierung entscheiden, wie gut dieser Handel ausfällt. Die Überraschung ist, wie wenig man braucht — weil das menschliche Sehen Grenzen hat, kann ein bescheidenes Gitter aus groben Farbwerten nahtlos wirken. Sobald du ein Bild als Daten siehst, wird alles andere im Buch — Kompression, Verbesserung, Übertragung — zu einer Frage des effizienten Manipulierens dieser Zahlen.

   Probier es aus: Zoome in ein Foto auf deinem Bildschirm, bis du einzelne Pixel erkennen kannst, und achte darauf, wie eine glatte Kante in Wahrheit eine Treppe aus farbigen Quadraten ist.

2. 2Kap. 5 (Farbe)

   Drei Zahlen, um jede Farbe vorzutäuschen

   Das Buch verweilt bei einer täuschend einfachen Frage: Wie kann ein Bildschirm Millionen von Farben zeigen, indem er nur rotes, grünes und blaues Licht verwendet? Die Antwort kommt aus der Farbwissenschaft — das menschliche Auge hat drei Arten von Zapfen, also lässt sich jeder Reiz durch das Justieren von drei Primärlichtern nachbilden. Daraus ergibt sich das RGB-Farbmodell, und sein Verwandter CMY für den Druck, wo Farben Licht subtrahieren statt addieren. Das Kapitel führt durch diese Modelle und die Umrechnungen zwischen ihnen und zeigt, warum eine Farbe, die auf deinem Monitor leuchtet, auf Papier gedruckt matt wirken kann.

   Die Idee

   Farbmodelle sind keine Beschreibungen des Lichts — sie sind Beschreibungen des menschlichen Sehens. RGB funktioniert, weil dein Auge jede Wellenlängenmischung auf drei Signale reduziert, also genügen drei Zahlen, um es zu täuschen. Die Kluft zwischen additiver und subtraktiver Farbe erklärt einen täglichen Frust: Bildschirme und Drucker sprechen verschiedene Farbsprachen, und die Umwandlung zwischen ihnen verliert etwas. Wer das versteht, empfindet Farbmanagement weniger als Herstellergeschwätz und mehr als Übersetzung zwischen Gerätespezies.

   Probier es aus: Öffne einen Bildeditor und ziehe den Sättigungsregler eines Fotos auf null — sieh zu, wie drei Farbkanäle zu einem einzigen Grauwert kollabieren.

3. 3Kap. 7 (Verlustfrei), Kap. 8 (Verlustbehaftet)

   Kompression: wegwerfen, was du nicht sehen kannst

   Ein unkomprimiertes Bild ist enorm groß, also wendet sich das Buch der Kompression zu. Zuerst der verlustfreie Art: Lauflängenkodierung, Wörterbuchverfahren und Huffman-Kodierung, die häufigen Symbolen kurze Codes und seltenen lange Codes zuweist — alles umkehrbar, nichts geht verloren. Dann der Sprung zur verlustbehafteten Kompression, wo sich das Ziel ändert: Verwirf Informationen, die deine Augen nicht vermissen werden. JPEG tut dies, indem es Blöcke von Pixeln in Frequenzkoeffizienten transformiert, die hohen Frequenzen durch Quantisierung wegquantisiert und den Rest entropiekodiert. Das Ergebnis ist eine Datei, die nur einen Bruchteil der Größe hat und trotzdem gut aussieht — bis du es zu weit treibst und blockige Artefakte auftauchen.

   Die Idee

   Verlustbehaftete Kompression ist ebenso ein psychologischer Trick wie ein mathematischer: Sie nutzt die Grenzen der menschlichen Wahrnehmung aus, um zu entscheiden, was sicher zerstört werden darf. Die DCT konzentriert die Energie eines Bildes in wenige niederfrequente Koeffizienten, und die Quantisierung verwirft einfach diejenigen, die dein Auge am wenigsten gewichtet. Die Überraschung ist, wie aggressiv man sein kann — die meisten Daten in einem typischen Bild sind perzeptiv redundant. Die Kunst besteht darin zu wissen, wo die Klippe liegt, jenseits derer Artefakte wie Blocking und Ringing sichtbar werden.

   Probier es aus: Speichere ein Foto als JPEG mit maximaler Qualität, dann mit Qualität 10, und vergleiche Dateigrößen und Artefakte nebeneinander.

4. 4Ch. 6 (Audio concepts), Ch. 13 (MPEG audio)

   Sound as a stream of samples

   The book shifts from pixels to pressure waves. Sound is continuous variation in air pressure; digitizing it means sampling that wave thousands of times per second and storing each sample as a number. The sampling rate and bit depth set the quality ceiling — CD audio uses 44,100 samples per second at 16 bits. From there the book explores how audio is stored, filtered, and compressed, including perceptual coding that hides quantization noise beneath louder sounds. What your ear hears as a smooth violin note is, inside the machine, a long list of integers arriving in strict order.

   Die Idee

   Audio digitization is simpler than image digitization in one dimension, but harsher in another: the ear is far more sensitive to errors than the eye. That is why audio compression leans so heavily on psychoacoustics — masking effects let codecs discard data that would be glaring in an image. Once you grasp that a sound file is just samples plus a header, formats stop being magic and become packaging choices.

   Probier es aus: Record a voice memo, then listen to it at half the sample rate — hear how high frequencies vanish first.

5. 5Ch. 9-10 (Video concepts, MPEG video)

   Video: images with a clock attached

   Video, the book explains, is just a sequence of still images shown fast enough to fool the eye into seeing motion — but storing every frame separately would be absurd. So video compression adds a temporal dimension: instead of coding each frame fully, the codec predicts the next frame from the previous one and codes only the differences. MPEG standards formalize this with I-frames (complete pictures), P-frames (differences from earlier frames), and B-frames (bidirectional predictions). The chapter walks through motion estimation, the search for how blocks moved between frames, which makes prediction accurate enough to work.

   Die Idee

   Video compression succeeds because most frames barely change: the camera pans, a few pixels move, and the rest of the scene stays put. Motion compensation turns that redundancy into savings — you transmit where a block went, not what it looks like. The I/P/B frame structure is a scheduling problem: B-frames need future frames to decode, so the order of storage differs from the order of display. Once you see video as delta-coding plus motion search, streaming bitrates stop seeming arbitrary.

   Probier es aus: Pause a video during a fast action scene and step frame by frame — watch how much (or little) changes between consecutive frames.

6. 6Ch. 11-12 (Networks, streaming media)

   Streaming: media that plays before it arrives

   The book's final stretch tackles delivery: how do you watch a video that hasn't finished downloading? Streaming media protocols send data over networks in real time, with buffering to absorb network jitter — the player holds a few seconds of video in reserve so brief delays go unnoticed. The chapters cover network protocols, RTP for real-time transport, and the challenges of variable bandwidth. The stakes are practical: a streaming system must balance quality, latency, and robustness, deciding whether to drop frames, reduce resolution, or pause and buffer when the network sags.

   Die Idee

   Streaming is an engineering compromise between three enemies: delay, jitter, and bandwidth. Buffering is the central weapon — trading a few seconds of startup wait for smooth playback — and adaptive strategies adjust quality to match the pipe. What surprises newcomers is how much of streaming design is about graceful failure: the system assumes the network will misbehave and plans for it. Media delivery is less about clever coding and more about managing expectations on an unreliable channel.

   Probier es aus: Watch a video on a throttled connection and notice the player drop to a lower resolution before it stutters.

Studierende in Multimedia-, Informatik- oder Digital-Media-Kursen sowie Entwickler, die mit Bildern, Audio oder Video arbeiten und verstehen wollen, was ihre Bibliotheken tatsächlich tun. Auch wertvoll für alle, die neugierig sind, wie vertraute Formate wie JPEG und MPEG ihren Unterhalt verdienen.