Fundamentals of Multimedia Second Edition

Si vous construisez quoi que ce soit avec des médias — applications, jeux, sites web — ce livre explique la mécanique qui se cache sous vos outils. Il convient aux étudiants des cours de multimédia ou d'informatique, ainsi qu'aux développeurs en exercice qui n'ont jamais suivi la théorie. Les mathématiques sont réelles, mais toujours rattachées à un format pratique que vous utilisez déjà, comme JPEG ou MP3, si bien que rien ne reste abstrait.

1. 1Ch. 3 (Images numériques), Ch. 5 (Couleur)

   Une image est une grille de nombres

   Ouvrez n'importe quelle photo sur votre téléphone et zoomez suffisamment : le visage lisse se dissout en un rectangle de petits carrés colorés. Le livre commence ici, avec la numérisation des images — l'échantillonnage d'une scène continue en pixels discrets, chacun n'étant qu'un nombre représentant la luminosité. Puis la couleur complique les choses : la vision humaine repose sur trois types de récepteurs, si bien que le livre introduit les valeurs tristimulus et montre comment les écrans simulent chaque teinte en mélangeant trois primaires. Ce qui ressemblait à une riche photographie se révèle être de l'arithmétique — des millions de petits nombres, chacun prétendant être de la lumière.

   L'idée

   La numérisation est un marché : vous échangez un monde infini et continu contre une liste finie de nombres, et les étapes d'échantillonnage et de quantification décident de la qualité de cet échange. La surprise, c'est qu'il en faut si peu — parce que la vision humaine a des limites, une grille modeste de valeurs de couleur grossières peut paraître parfaitement continue. Une fois que vous voyez une image comme des données, tout le reste du livre — compression, amélioration, transmission — devient une question de manipulation efficace de ces nombres.

   À essayer : Zoomez sur une photo de votre écran jusqu'à distinguer les pixels individuels, et remarquez qu'un bord lisse est en réalité un escalier de carrés colorés.

2. 2Ch. 5 (Couleur)

   Trois nombres pour simuler toutes les couleurs

   Le livre s'attarde sur une question d'une simplicité trompeuse : comment un écran peut-il afficher des millions de couleurs avec seulement de la lumière rouge, verte et bleue ? La réponse vient de la science des couleurs — l'œil humain possède trois types de cônes, si bien que tout stimulus peut être reproduit en ajustant trois lumières primaires. D'où le modèle de couleur RGB, et son cousin CMY pour l'impression, où les encres soustraient la lumière au lieu de l'ajouter. Le chapitre passe en revue ces modèles et les conversions entre eux, montrant pourquoi une couleur qui éclat sur votre écran peut paraître terne une fois imprimée sur papier.

   L'idée

   Les modèles de couleur ne sont pas des descriptions de la lumière — ce sont des descriptions de la vision humaine. RGB fonctionne parce que votre œil réduit tout mélange de longueurs d'onde à trois signaux, si bien que trois nombres suffisent à le tromper. L'écart entre la couleur additive et la couleur soustractive explique une frustration quotidienne : les écrans et les imprimantes ne parlent pas le même langage chromatique, et la conversion entre eux fait perdre quelque chose. Comprendre cela rend la gestion des couleurs moins absurde et plus proche d'une traduction entre espèces d'appareils.

   À essayer : Ouvrez un éditeur d'images et réglez le curseur de saturation d'une photo sur zéro — regardez trois canaux de couleur s'effondrer en une seule valeur de gris.

3. 3Ch. 7 (Sans perte), Ch. 8 (Avec perte)

   Compression : jeter ce que vous ne pouvez pas voir

   Une image brute est énorme, si bien que le livre en vient à la compression. D'abord la compression sans perte : le codage par plages, les méthodes par dictionnaire et le codage de Huffman, qui attribue des codes courts aux symboles fréquents et des codes longs aux symboles rares — tout est réversible, rien ne se perd. Puis le saut vers la compression avec perte, où l'objectif change : éliminer les informations que vos yeux ne regretteront pas. JPEG y parvient en transformant des blocs de pixels en coefficients de fréquence, en quantifiant les hautes fréquences et en codant par entropie ce qui reste. Le résultat est un fichier bien plus petit qui reste visuellement correct — jusqu'à ce que vous alliez trop loin et que des artefacts en blocs apparaissent.

   L'idée

   La compression avec perte est une astuce psychologique autant que mathématique : elle exploite les limites de la perception humaine pour décider ce qui peut être détruit sans risque. La DCT concentre l'énergie d'une image dans quelques coefficients de basse fréquence, et la quantification se contente d'abandonner ceux que votre œil pèse le moins. La surprise, c'est le degré d'agressivité possible — la majeure partie des données d'une image typique est perceptuellement redondante. L'art consiste à savoir où se trouve la falaise, au-delà de laquelle des artefacts comme le blocage et le frangipane deviennent visibles.

   À essayer : Enregistrez une photo en JPEG à qualité maximale, puis à qualité 10, et comparez les tailles de fichier et les artefacts côte à côte.

4. 4Ch. 6 (Concepts audio), Ch. 13 (Audio MPEG)

   Le son comme flux d'échantillons

   Le livre passe des pixels aux ondes de pression. Le son est une variation continue de la pression de l'air ; le numériser revient à échantillonner cette onde des milliers de fois par seconde et à stocker chaque échantillon sous forme de nombre. La fréquence d'échantillonnage et la profondeur de bits fixent le plafond de qualité — l'audio CD utilise 44 100 échantillons par seconde à 16 bits. De là, le livre explore comment l'audio est stocké, filtré et compressé, y compris le codage perceptuel qui dissimule le bruit de quantisation sous des sons plus forts. Ce que votre oreille perçoit comme une note de violon fluide est, au cœur de la machine, une longue liste d'entiers arrivant dans un ordre strict.

   L'idée

   La numérisation audio est plus simple que celle des images en une dimension, mais plus impitoyable d'une autre : l'oreille est bien plus sensible aux erreurs que l'œil. C'est pourquoi la compression audio s'appuie si lourdement sur la psychoacoustique — les effets de masquage permettent aux codecs d'éliminer des données qui sauteraient aux yeux dans une image. Une fois que vous avez compris qu'un fichier audio n'est qu'une suite d'échantillons plus un en-tête, les formats cessent d'être magiques et deviennent des choix d'emballage.

   À essayer : Enregistrez un mémo vocal, puis écoutez-le à la moitié de la fréquence d'échantillonnage — entendez comment les hautes fréquences disparaissent d'abord.

5. 5Ch. 9-10 (Concepts vidéo, vidéo MPEG)

   La vidéo : des images avec une horloge attachée

   La vidéo, explique le livre, n'est qu'une suite d'images fixes montrées assez vite pour tromper l'œil et lui faire voir du mouvement — mais stocker chaque image séparément serait absurde. La compression vidéo ajoute donc une dimension temporelle : au lieu de coder chaque image intégralement, le codec prédit l'image suivante à partir de la précédente et ne code que les différences. Les normes MPEG formalisent cela avec les images I (images complètes), les images P (différences par rapport aux images précédentes) et les images B (prédictions bidirectionnelles). Le chapitre passe en revue l'estimation de mouvement, la recherche de la façon dont les blocs se sont déplacés entre les images, ce qui rend la prédiction assez précise pour fonctionner.

   L'idée

   La compression vidéo réussit parce que la plupart des images changent à peine : la caméra panoramique, quelques pixels bougent, et le reste de la scène reste en place. La compensation de mouvement transforme cette redondance en économies — vous transmettez où un bloc est allé, pas à quoi il ressemble. La structure d'images I/P/B est un problème d'ordonnancement : les images B ont besoin des images futures pour être décodées, si bien que l'ordre de stockage diffère de l'ordre d'affichage. Une fois que vous voyez la vidéo comme un codage par différences plus une recherche de mouvement, les débits de streaming cessent de paraître arbitraires.

   À essayer : Mettez une vidéo en pause pendant une scène d'action rapide et avancez image par image — observez combien (ou peu) de choses changent entre deux images consécutives.

6. 6Ch. 11-12 (Réseaux, médias en streaming)

   Le streaming : des médias qui se lisent avant d'être arrivés

   La dernière partie du livre aborde la diffusion : comment regarder une vidéo dont le téléchargement n'est pas terminé ? Les protocoles de médias en streaming envoient les données sur les réseaux en temps réel, avec une mise en mémoire tampon pour absorber la gigue du réseau — le lecteur garde quelques secondes de vidéo en réserve afin que les brèves interruptions passent inaperçues. Les chapitres couvrent les protocoles réseau, RTP pour le transport en temps réel, et les défis d'une bande passante variable. L'enjeu est pratique : un système de streaming doit équilibrer qualité, latence et robustesse, en décidant s'il faut abandonner des images, réduire la résolution, ou mettre en pause et tamponner quand le réseau faiblit.

   L'idée

   Le streaming est un compromis d'ingénierie entre trois ennemis : le délai, la gigue et la bande passante. La mise en mémoire tampon est l'arme centrale — échanger quelques secondes d'attente au démarrage contre une lecture fluide — et les stratégies adaptatives ajustent la qualité pour l'accorder au tuyau. Ce qui surprend les débutants, c'est la part du design du streaming consacrée à l'échec élégant : le système suppose que le réseau se comportera mal et le prévoit. La diffusion de médias relève moins du codage astucieux que de la gestion des attentes sur un canal peu fiable.

   À essayer : Regardez une vidéo sur une connexion bridée et remarquez que le lecteur passe à une résolution inférieure avant de saccader.

Les étudiants en multimédia, informatique ou médias numériques, et les développeurs qui travaillent avec des images, du son ou de la vidéo et veulent comprendre ce que leurs bibliothèques font réellement. Le livre intéressera aussi quiconque s'interroge sur la manière dont des formats familiers comme JPEG et MPEG justifient leur existence.