Le prochain codec vidéo sera basé sur l’IA

Nous utilisons les mêmes méthodes pour compresser des vidéos depuis près de trente ans. Le prochain changement sera important.

Je pense qu’il est temps de changer. Paradigme est peut-être un mot utilisé beaucoup trop souvent et la plupart du temps de manière inexacte, mais c’est ce dont nous avons besoin de changer. Je ne veux pas paraître ingrat parce que, dans le paradigme actuel, les codecs ont fait du très bon travail. Je veux dire, je peux regarder des vidéos 8K sur ma ligne téléphonique. C’est un exploit à tout point de vue. Cela ne devrait presque pas être possible, et ce ne serait pas le cas sans une pile de techniques interdépendantes, qui, couche après couche, nous apportent un haut débit rapide et de belles images.

Alors, pourquoi est-il temps de changer? Je dirais pour deux raisons. Premièrement, le paradigme actuel du codec est basé sur des mathématiques faites avec des pixels. Les pixels ne conviennent pas naturellement au monde dans lequel nous vivons, ni à notre cerveau, ni, devrais-je dire, à nos méthodes cognitives. Deuxièmement, les codecs ne savent rien de ce qu’ils compressent. Cela vous semble étrange? Je vais t’expliquer.

Codecs stupides

Les codecs sont indépendants du contenu car ils ne se soucient pas de savoir s’ils travaillent sur un clip d’un drame de salle d’audience ou d’une intervention chirurgicale. Ils ne se soucient pas non plus si le clip parle d’un cygne en vol ou d’un match de boxe. Ce ne sont que des pixels. Le seul sens dans lequel les codecs se soucient du contenu est lorsque ce contenu est difficile à compresser: comme une forêt dans une tempête de neige ou une course de chevaux avec un arrière-plan « difficile ». Le premier de ces exemples a trop de caractère aléatoire (il est difficile de faire la distinction entre un tas de flocons de neige et un bruit aléatoire), et le second a tout simplement trop d’informations en évolution rapide. Mais aucune de ces préoccupations liées au contenu ne concerne le « sujet »du contenu.

Comment l’IA va-t-elle aider ici? Il va sans dire que l’IA et son cousin proche, l’apprentissage automatique, ne sont pas anodins à comprendre, mais en regardant quelques exemples, il n’est pas trop difficile de voir en quoi cela pourrait nous être utile.

Des codecs intelligents apparaissent

Il existe déjà quelques cas d’IA à l’œuvre sur la vidéo en temps réel. Depuis un certain temps, Nvidia présente une application d’appel vidéo qui peut donner l’impression aux participants de regarder la caméra, même lorsqu’ils ne le sont pas. C’est assez bon pour qu’il n’attire pas l’attention sur lui-même.

Parallèlement à cela, l’IA peut désormais produire des images photoréalistes basées sur des commandes vocales. « Montrez-moi un pingouin construisant un ordinateur quantique » créera en effet une image d’un oiseau aquatique antarctique concevant de la plomberie pour les Qubits.

Depuis plusieurs années, un site web appelé « thispersondoesnotexist.com » a produit des images photoréalistes de personnes qu’il a essentiellement inventées. Chaque fois que vous vous rafraîchissez, vous êtes présenté avec une autre « personne ». Aucun d’eux n’existe. Ils sont le produit d’une IA massivement entraînée qui » sait  » à quoi les gens ont tendance à ressembler.

De nouveaux outils comme Imagen de Google poussent l’art d ‘ « imaginer » une scène photoréaliste encore plus loin. Et à mesure que les techniques s’améliorent – rapidement, inévitablement, semble – t-il-elles fonctionnent à des résolutions de plus en plus élevées. Je ne peux m’empêcher de penser que s’ils sont si doués pour faire des images photoréalistes de quelque chose qui n’a jamais existé, que se passerait-il si vous demandiez au même type d’IA de faire la meilleure image possible de quelque chose que vous le montrez actuellement?

Attends, quoi? Est-ce que cela a même un sens? Oui, complètement. Il y a un mot pour cela: re-synthèse.

Avec la resynthèse, vous prenez quelque chose qui existe déjà et le reconstruisez à partir de zéro, pour égaler ou dépasser la fidélité de l’original. L’IA utiliserait les mêmes méthodes qu’elle utilise pour créer des images fantastiques et les appliquer à des images réelles. Cela pose une question évidente: à quoi bon? La réponse est que l’IA ne « pense » pas en pixels. Au lieu de cela, il exploite la puissance des modèles conceptuels. Plus les motifs sont détaillés, meilleurs sont les résultats, mais ce n’est toujours pas fait de pixels. Je m’attends à ce que si vous entraînez une IA avec suffisamment d’expérience du monde naturel – ou, plus précisément, à quoi les choses sont censées ressembler dans le monde réel, alors elle devrait être capable de reproduire une scène existante en fonction de sa « connaissance » de ce que l’essence de cette scène doit être.

Un codec AI n’aura pas de « résolution » en tant que telle. Comme Postscript, il sera capable de produire à n’importe quelle résolution. Sa fréquence d’images sera « n’importe quelle fréquence d’images ». Les avantages seront énormes et transformateurs. Plusieurs chemins mènent déjà dans cette direction. L’un d’eux est l’optique computationnelle. Sony a récemment prédit que d’ici 2024, les appareils photo pour smartphones surpasseront les reflex numériques (ou leurs équivalents sans miroir). Une grande partie de l’optique informatique n’est que du calcul numérique. Mais de plus en plus, il sera basé sur l’IA. À ce stade – et je ne suis même pas sûr que vous l’appeliez un codec à ce stade – votre vidéo sera stockée sous forme de concepts plutôt que de pixels. Cela pourrait être le plus grand changement depuis l’aube de la vidéo numérique.

(function(d, s, id) var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) return; js = d.createElement(s); js.id = id; js.src = « //connect.facebook.net/en_GB/all.js#xfbml=1&status=0 »; fjs.parentNode.insertBefore(js, fjs);
(document, ‘script’, ‘facebook-jssdk’));

Créer un spot vidéo exige une forte exigence dès l’origine du corporate d’un film d’entreprise.

Notre cabinet va se mobiliser au moyen d’une mobilisation absolue dès le départ de votre plan de création de film afin de limiter le nombre de modifications devant survenir in finé lors de la construction de la vidéo corporate. Retrouvez toutes les actualités sur le thème de vidéos d’entrepriseen retrouvant les actualités page « une ». La bonne méthode est de procéder en respect des process et assiduité. Cette particularité est semblable pour une prestation en B2C ou B2B et va autoriser de cibler complètement la communication que la vidéo d’entreprise va colporter.

A lire sur le même thème:

Technologies pour l’audiovisuel.,Ouvrage .