Annonce d’Adobe Firefly pour la vidéo – Apporter l’IA générative à Creative Cloud

Comme nous le savons, le NAB n’est pas seulement un lieu de rencontre idéal pour l’industrie, mais aussi un moment idéal pour les entreprises pour présenter quelque chose de spécial. Adobe ne fait pas exception. Après avoir annoncé de nouvelles fonctionnalités pour Premiere Pro comme édition basée sur le texte ou cartographie automatique des tons de couleurils aussi révélé leurs plans futurs pour la mise en œuvre d’Adobe Firefly pour la vidéo, élargissant considérablement leur famille de modèles d’IA générative créative. À quoi s’attendre et pourquoi cela semble-t-il excitant mais énervant ? Lisez tout ce que nous savons à ce sujet ci-dessous.

Tout d’abord. Adobe Firefly est un ensemble d’outils piloté par l’IA, basé sur Adobe Sensei – le cadre d’intelligence artificielle et d’apprentissage automatique de l’entreprise. Firefly a été présenté au monde le mois dernier et est maintenant dans une phase de test bêta actif. Pour le moment, il permet principalement de créer des images à partir d’invites de texte (l’offre pour de tels outils d’IA générative est déjà massive – à titre d’exemple, nous avons écrit sur À mi-parcours et Diffusion stable ici). En plus de cela, Firefly offre la possibilité de générer des effets de texte – un jouet intéressant pour les designers et les illustrateurs.

Lors du NAB 2023, la société a révélé qu’à l’avenir, elle allait intégrer l’IA générative dans les applications de conception vidéo, audio, d’animation et d’animation graphique d’Adobe. Certaines fonctionnalités en cours de réalisation qui ont déjà été présentées sont la génération de musique pour les clips via une simple description textuelle, ou la modification du schéma de couleurs de votre vidéo en un clic. Intrigant? Tu paries!

Adobe Firefly pour la vidéo : à quoi s’attendre

La gamme de concepts qu’Adobe explore dans le domaine de l’IA s’étend des storyboards au montage final. Commençons par la pré-production. Comme indiqué dans le communiqué de presse officiel, les créateurs pourront télécharger leur script, laisser le moteur d’apprentissage en profondeur analyser le texte, puis créer automatiquement des gribouillis de storyboard. Dans la présentation vidéo, ce processus ne prend littéralement qu’un seul clic de souris et vous obtiendrez quelque chose comme les images suivantes :

Incroyable, non ? Et ce n’est pas tout. Un autre clic sur le bouton “Make previz”, et voilà ! – vous obtenez une pré-visualisation animée simple mais détaillée de votre film directement dans la chronologie.

Je suppose que si cette fonctionnalité Firefly est si simple et conviviale, elle sera d’une grande aide pour les cinéastes en herbe ou les productions indépendantes. En même temps, cette direction de développement me semble inquiétante. Il y a déjà eu beaucoup de discussions sur l’impact potentiel de l’IA générative sur l’avenir des artistes humains. Certains créateurs supposent que les grandes entreprises pourraient profiter d’outils comme celui-ci au lieu d’embaucher des professionnels. Un cas est la façon dont Netflix a utilisé l’IA pour créer de l’art pour un court métrage d’anime, le justifiant par la “pénurie de main-d’œuvre de l’industrie”.

Fonctionnalités utiles pour accélérer différents flux de travail

Mis à part ce débat en cours, Adobe Firefly peut devenir très utile pour accélérer plusieurs flux de travail, en particulier dans le domaine des médias sociaux et de la production de vidéos d’entreprise (j’écris «surtout», car c’est là que le temps devient votre meilleur ami et que certains processus n’ont pas à faire en pleine qualité cinématographique).

Prenons comme exemple l’amélioration du texte en couleur mentionnée précédemment. Cette fonctionnalité permettra aux créateurs de modifier les schémas de couleurs, l’heure de la journée ou même les saisons dans leurs clips vidéo presque instantanément. Pour ce faire, ils n’auront qu’à écrire une simple invite, comme dans l’exemple ci-dessous :

Un autre outil basé sur l’IA qui a été annoncé transcrira non seulement une interview, mais identifiera également les mots-clés et suggérera même des clips B-roll pertinents, ce qui vous permettra de faire un premier montage.

Lorsque nous pourrons intégrer Firefly dans d’autres applications Adobe, nous pourrons non seulement générer des effets de texte (comme dans la phase bêta) mais aussi les animer. Créer des polices, des cartes de titre, des graphiques et des logos époustouflants est la prochaine étape, promettent les développeurs.

Adobe Firefly pour le son

Un autre domaine d’exploration de l’IA générative est, bien sûr, l’audio. Ici, Adobe présente également quelques nouveaux concepts pour Firefly. Tout d’abord, leur présentation montre comment les créateurs pourront demander à l’intelligence artificielle de composer pour eux une piste musicale personnalisée. Quelques mots-clés, et vous y êtes.

Ensuite, vous pouvez utiliser une fonction avancée d’effets sonores et laisser l’IA analyser le contenu de votre vidéo, à la recherche de sons correspondants. Comme le soulignent les développeurs, toutes les mélodies et pistes générées seront libres de droits, afin que les créateurs puissent les ajouter au montage final.

Le plus grand attrait d’Adobe Firefly

Et cela nous amène à la plus grande différence entre Adobe Firefly et les autres IA génératives (du moins, à mon avis). L’entreprise promesses qu’ils forment leurs modèles uniquement sur des ensembles de données légitimes et inclusifs, comme les images Adobe Stock, le contenu sous licence ouverte et les données du domaine public où le droit d’auteur a expiré. Il s’agit d’une approche assez nouvelle et certainement la plus consciencieuse par rapport à certains autres développeurs de réseaux de neurones, qui utilisent tout ce sur quoi ils peuvent mettre la main.

Cela signifie que le contenu généré par Firefly sera sans danger pour un usage commercial et résoudra une partie du problème d’attribution. Cependant, j’ai également lu d’autres avis, où les cinéastes, par exemple, demandent à Adobe de donner aux créateurs Stock la liberté de choisir s’ils veulent que leurs images soient utilisées pour la formation du modèle Firefly ou non (et si c’est le cas, d’obtenir une compensation supplémentaire pour il).

Comment essayer ces nouveaux outils d’IA

Pour l’instant, Adobe Firefly est disponible en version bêta, et tout le monde peut demander un accès anticipé ici. Nous avons reçu une invitation et sommes impatients de vous montrer bientôt les résultats de nos premiers tests. Mais sachez que pour le moment, vous ne pouvez qu’essayer le générateur de texte en image Firefly et jouer avec la création de différents effets de texte. Adobe prévoit d’introduire toutes les autres fonctionnalités basées sur l’IA décrites dans cet article plus tard cette année. Nous vous tiendrons au courant !

Conclusion

Plus nous entendons d’annonces, plus il semble que nous entrons dans une toute nouvelle ère de la production vidéo. Avec tous ces outils d’intelligence artificielle (non seulement l’IA générative mais aussi d’autres qui prennent déjà en charge des tâches banales), les processus de pré- et post-production peuvent s’accélérer beaucoup plus que nous ne l’aurions jamais cru possible. En même temps, cela ouvre des questions complètement différentes, auxquelles il reste encore à répondre.

Et qu’en pensez-vous ? Pouvez-vous imaginer implémenter les nouvelles fonctionnalités d’Adobe Firefly dans votre flux de travail habituel ? Lequel attendez-vous le plus ? Faites-nous savoir dans les commentaires ci-dessous!

Crédit image caractéristique : Adobe.