La nouvelle application iPhone d’Unreal effectue une capture de mouvement en direct avec des capteurs Face ID

| |

Le développeur d’Unreal Engine Epic Games a publié Live Link Face, une application iPhone qui utilise les capteurs 3D frontaux du téléphone pour capturer des mouvements en direct pour des animations faciales dans des projets 3D tels que des jeux vidéo, des animations ou des films.

L’application utilise des outils du framework ARKit d’Apple et du réseau de capteurs TrueDepth de l’iPhone pour diffuser en direct la capture de mouvement d’un acteur regardant le téléphone vers des personnages 3D dans Unreal Engine fonctionnant sur un poste de travail à proximité. Il capture les expressions faciales ainsi que la rotation de la tête et du cou.

Live Link Face peut diffuser sur plusieurs machines à la fois, et «la prise en charge robuste du timecode et la précision précise de la trame permettent une synchronisation transparente avec d’autres composants de la scène tels que les caméras et la capture de mouvement du corps», selon Epic. article de blog annonçant l’application. Les utilisateurs obtiennent un CSV de données de forme brute et un MOV de la caméra vidéo frontale du téléphone, avec des codes temporels.

Pour beaucoup, la matrice de capteurs TrueDepth de l’iPhone semblait être une solution à la recherche d’un problème – Touch ID fonctionnait très bien pour la plupart des gens dans les iPhones précédents, et il n’y avait pas beaucoup d’applications claires de la technologie en dehors de Face ID. Bien sûr, il y avait des Animojis, et beaucoup de gens les apprécient, mais la plupart ne diraient pas qu’ils justifient à eux seuls la technologie.

Mais voici un argument de vente clair, bien que pour un public restreint: les développeurs de jeux indépendants et les cinéastes peuvent utiliser des applications comme celle-ci sur l’iPhone pour la capture de mouvement, donnant vie à des personnages virtuels avec les expressions faciales et d’autres mouvements de vrais acteurs humains. C’est quelque chose qui impliquait traditionnellement des studios coûteux et hors de portée de tous, sauf des grands joueurs.

La capture de mouvement que les capteurs de l’iPhone peuvent gérer n’est pas aussi précise que celle utilisée par les studios de développement de jeux triple A ou les grands films, bien sûr, de sorte que ces studios haut de gamme ne laisseront pas tomber leurs studios mo-cap équipés pour iPhones en ce moment. Mais maintenant, les créateurs individuels et les petites équipes peuvent faire quelque chose qui était auparavant prohibitif.

Ce n’est pas vraiment un cas d’utilisation par les consommateurs, en soi, cependant. Jusqu’à présent, ces capteurs ont été principalement utilisés par Apple et des développeurs d’applications tiers pour rendre les applications AR et les filtres photo plus précis.

Apple a récemment ajouté un capteur lidar à l’iPad Pro, et les rumeurs abondent sur Internet selon lesquelles il fera également son chemin vers les meilleurs modèles d’iPhone. Bien que les capteurs arrière de l’iPad Pro utilisent une technologie différente de celle de la baie TrueDepth orientée vers l’avant, ils peuvent générer un résultat similaire. Apple a déjà démontré que les capteurs arrière de l’iPad Pro enregistrent la capture de mouvement d’une personne, bien que le corps entier de la personne, pas son visage.

Pour ceux qui ne sont pas familiers, Unreal Engine a commencé sa vie comme un moteur graphique utilisé par les studios de jeux vidéo triple-A pour des titres comme Armement de guerre et Effet de masse, et il a évolué au fil du temps pour être utilisé par les Indes et dans d’autres situations comme le cinéma, l’architecture et le design. Il est en concurrence avec un autre moteur populaire appelé Unity, ainsi qu’avec des outils internes développés par divers studios.

Image de l’annonce par Epic Games

Previous

Pratique avec tvOS 14: Image dans l’image, 4K YouTube, HomeKit et plus

David Tennant, la série BBC There She Goes souffre d’un problème technique

Next

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.