Voici MAVE:, le groupe d’avatars ‘k-pop’ qui accumule des millions de vues grâce à l’intelligence artificielle | Technologie

SIU :, ZENA :, TYRA : et MARTY :. C’est le nom des quatre membres du groupe pop sud-coréen MAVE :, qui ont fait leurs débuts en janvier dernier avec la chanson PANDORE. Ils ont entre 19 et 20 ans et viennent chacun d’un pays différent, des États-Unis à l’Indonésie, bien qu’ils aient tous des traits asiatiques, comme il est de coutume dans l’industrie du divertissement sud-coréenne. Son premier clip vidéo dépasse les 20 millions de vues, alors que votre compte Spotify il compte plus d’un million et demi d’auditeurs mensuels. En mars, ils sont apparus dans l’émission musicale Show! Music Core, diffusé sur la chaîne de télévision MBC, comme tout groupe de k-pop avec une certaine répercussion qui vient promouvoir son nouveau seul. Les membres ont participé à des défis TikTok et ont même célébré 100 jours depuis leurs débuts. Cependant, malgré les chiffres et les réalisations qui les accompagnent, ce qui peut surprendre ceux qui ne les connaissent pas encore le plus, c’est qu’il s’agit d’avatars. Grâce à l’intelligence artificielle, à la technologie 3D, à la réalité augmentée et à la synthèse vocale, ces chanteurs virtuels peuvent passer pour un groupe pop classique, parfois difficile à distinguer d’un groupe composé d’humains, notamment dans ce qui fait référence à la chanson.

Nom de MAVE : vient de faire une nouvelle vague (crée une nouvelle vague) ou méta-ondepuisque le groupe a “l’ambition de créer une nouvelle vague dans la scène du k-pop à l’ère du métavers. Il est courant que les noms des groupes pop coréens cachent une signification liée aux membres, à ce qu’ils entendent réaliser avec leur musique ou à ce qu’ils veulent transmettre. De la même manière, les noms de leurs fans, également établis par des sociétés de divertissement, ont un sens et un rapport avec le groupe en question. Dans ce cas, les fans de MAVE : ils s’appellent MAZE: (labyrinthe), car, avec le groupe, “ils créeront un nouveau chemin, un labyrinthe, dans lequel personne ne s’est encore aventuré, avec la conviction inébranlable qu’ils trouveront une issue tant qu’ils resteront unis”.

Sung-Ku Kang, directeur technologique de Metaverse Entertainment, la société en charge du groupe, explique à ce journal par e-mail que le projet consiste en la même planification et production que celles réalisées avec les groupes de idoles réel. “Les membres de l’entreprise sont des experts dans divers domaines, tels que les jeux vidéo, le divertissement, la musique… Et ils ont une compréhension approfondie de la façon d’obtenir de bons résultats et de créer des personnages bien-aimés”, dit-il.

Mais qu’est-ce qui est hors de portée des idoles humaines qu’un groupe d’avatars peut offrir ? Comme l’explique Kang, “en tant que groupe virtuel, vous pouvez chorégraphier à une vitesse et à un niveau de difficulté difficiles à atteindre pour un vrai chanteur, et toutes sortes d’imagination peuvent être sollicitées lors de la création de vidéoclips”. Il souligne en outre que les membres des groupes traditionnels ont souvent des talents différents et qu’il existe une disparité entre eux, mais les idoles virtuelles n’ont pas à gérer cela. Bien sûr, ils ont aussi un avantage évident : être à plusieurs endroits en même temps. “Ils peuvent se produire en Corée et une heure plus tard aux États-Unis, ou directement devant des fans du monde entier en même temps”, explique le manager.

Cependant, en les regardant jouer, la première question que le spectateur peut se poser est de savoir s’il y a de vrais jeunes chanteurs derrière autant de technologie. En ce qui concerne l’apparence, leurs visages ne sont basés sur aucune personne réelle spécifique. Ils ont créé “des apparences du type des idoles, les résultats ont été mitigés et modifiés manuellement ». L’origine de leurs capacités de chant réside dans un mélange de voix de vrais acteurs de la voix et de ce qui est généré par l’intelligence artificielle, de sorte qu’ils sont “formés” à parler comme le font ces acteurs. Sung-Ku Kang explique qu’ils vont continuer à utiliser ce mélange, en décidant également en fonction de la situation, mais dans le but d’augmenter l’utilisation des voix générées par l’intelligence artificielle.

Ce qui demande peut-être plus de travail, c’est d’obtenir des chorégraphies qui ressemblent aux danses des idoles humains. « Il faut beaucoup d’efforts pour faire bouger un artiste virtuel aussi naturellement qu’un humain. Pour rendre les mouvements naturels, nous utilisons la technologie de capture de mouvement pour enregistrer avec précision les mouvements de personnes réelles, et la technologie de simulation pour faire en sorte que les vêtements et les cheveux bougent naturellement avec l’activité également », explique Kang. . Mais tout cela ne serait pas réalisé sans un bon travail sur l’enregistrement : pour tourner le clip vidéo PANDORA, un studio de huit mètres de haut et 20 sur 20 de large et de long avec du matériel de capture de mouvement et des caméras de toutes sortes a été utilisé, afin pour enregistrer les mouvements de la même manière que dans un vrai clip vidéo. “Cela nous a permis de voir comment les acteurs interagissaient naturellement avec les caméras et de faire de la post-production et du montage avec ce que nous avions enregistré”, ajoute le responsable de Metaverse.

Les membres de MAVE :, en plus d’enregistrer du contenu, peuvent interagir en temps réel. Kang précise que ce n’est pas quelque chose de très différent de ce que font les YouTubers virtuels. “Notre objectif est de créer une connexion émotionnelle mémorable à long terme avec chaque fan, plutôt que de simplement avoir un service de chat bot”, comme celui disponible actuellement, ajoute-t-il. Les technologies nécessaires pour créer ce groupe comprennent, en plus de l’intelligence virtuelle et d’autres techniques mentionnées, apprentissage automatiquemodélisation 3D, différentes techniques de simulation pour contrôler les mouvements du visage et du corps, réalité augmentée et réalité virtuelle, notamment pour les concerts virtuels et pour les interactions avec les fans, analyse de données et technologies cloud.

Metaverse Entertainment, filiale du développeur de jeux vidéo Netmarble, est la société en charge du projet, qui comprend également Kakao Entertainment, la société de divertissement propriétaire du “Korean WhatsApp”, Kakao Talk, et diverses agences de groupes k-pop. et d’acteurs, du service de streaming musical Melon et d’une énorme plateforme de Webtoons, des bandes dessinées au format vertical très populaires dans le monde entier, mais surtout en Asie. Plus d’une centaine de professionnels travaillent à la création et aux activités de MAVE, et nombre d’entre eux ont travaillé ou travaillent actuellement avec des artistes de la vie réelle. PANDORA a été composé par Maxx Song et Kyler Niko, qui ont produit des chansons pour certains des groupes les plus connus de l’industrie, tels que Seventeen, Red Velvet et Monsta X ; le réalisateur du clip vidéo, Flipevil, était en charge de certains d’IU, le soliste le plus titré du pays; et la chorégraphie a été réalisée par Freemind, chorégraphe de deux des plus grands succès d’IVE.

MAVE : ce n’est pas le premier groupe musical sud-coréen formé par des avatars, mais c’est celui qui a eu le plus d’impact à ce jour. En 2021, également en Corée, Superkind a fait ses débuts, dans lequel un seul des membres est un avatar et, dans le cas des membres d’Eternity, qui ont fait leurs débuts la même année, la société Pulse9 a utilisé la technologie qu’elle appelle réel profond, avec lequel il prétend créer “des visages réalistes sans distinction de race, d’âge ou de sexe”. Cependant, l’origine des chanteurs virtuels était au Japon, en 2007, avec la création de Hatsune Miku, un hologramme qui a même donné des concerts live.

Vous pouvez suivre LE PAYS Technologie dans Facebook y Twitter ou inscrivez-vous ici pour recevoir nos bulletin d’information sémanal.