“C’était vraiment amusant de voir tout ce que les gens font avec”, a écrit Pinkney dans un e-mail au Washington Post. “Je suis toujours impressionné par la façon dont il semble capturer l’essence des personnages célèbres, mais sous une forme Pokémon très étrange.”
Très bizarre est une façon appropriée de le dire. Les gens l’ont utilisé pour générer toutes sortes de Pokémon à l’étrange ressemblance de personnages célèbres. Voici ce qu’il a craché en utilisant la superstar hollywoodienne Dwayne Johnson comme invite:
Voici quelques variantes de Pokémon de Jeff Bezos, fondateur d’Amazon. (Bezos possède également le Washington Post).
Voici d’ailleurs Wordle as a Pokémon.
Mais le générateur est également capable de produire des créations étonnamment poignantes, comme on peut le voir dans cette mosaïque d’exemples d’images partagée par Pinkney. Le premier Pokémon de la gamme a été généré à partir de l’invite “Girl with a Pearl Earring”, le célèbre tableau du maître néerlandais Johannes Vermeer. Voyez si vous pouvez deviner les autres.
Il s’agit d’un Pokémon créé à partir de “Le retour du fils prodigue”, l’une des peintures les plus connues d’un autre maître hollandais, Rembrandt Harmenszoon van Rijn.
Pinkney a été inspiré pour créer un générateur d’art Pokémon par sa fille de 6 ans, qui est récemment devenue une grande fan de la franchise.
“J’ai pensé que ce serait un projet amusant de former un modèle afin qu’elle puisse décrire son Pokémon idéal”, a-t-il déclaré. “On dirait que ça a marché !”
Générateurs d’art texte-image travailler à travers un processus appelé apprentissage en profondeur, dans lequel des algorithmes font des prédictions et accomplissent des tâches dans un processus qui imite les neurones du cerveau humain. Dans le cas de l’art généré par l’IA, les générateurs puisent dans une base de données d’images et d’illustrations existantes pour assembler une pièce discrète basée sur l’invite de l’utilisateur. Pinkney a expliqué que sa propre création est adaptée d’un modèle d’apprentissage en profondeur open source appelé Stable Diffusion, qui dispose déjà de vastes ensembles de données d’informations. Text-to-Pokémon fonctionne en faisant correspondre les ensembles de données de Stable Diffusion à un ensemble de données de 850 images Pokémon d’un précédent projet de recherche universitaire, que Pinkney a déposé à l’aide d’un système de sous-titrage automatisé pour catégoriser chaque image avec une description textuelle.
C’est pourquoi Text-to-Pokémon peut créer des fac-similés Pokémon plus ou moins convaincants de personnalités publiques bien connues telles que Dwayne Johnson ou Taylor Swift, mais générera des résultats plus abstraits pour la plupart des gens utilisant leur propre nom (à moins qu’ils ne soient également des célébrités de haut niveau). Pinkney a publié un article détaillé sur le fonctionnement de son générateur sur Le blog de Lambda.
Si vous voulez vous essayer à créer certains de vos propres Pokémon, vous pouvez y accéder ici. Vous aurez besoin d’un compte GitHub pour exécuter le modèle via le site Web, mais une fois que cela est configuré, tout ce que vous avez à faire est d’entrer une phrase (Keanu Reeves, “The Last Supper”, “Doom Eternal”, etc.) et appuyez sur le bouton Soumettre pour générer un ou plusieurs Pokémon.
Pinkney a l’intention de continuer à travailler sur Text-to-Pokémon. Il a évoqué la possibilité d’obtenir plus d’images de Pokémon pour augmenter son ensemble de données avec des légendes plus détaillées, peut-être en collaboration avec quelqu’un ayant plus de connaissances sur Pokémon. Il s’intéresse également au développement de générateurs d’art capables de compiler des images au-delà des invites textuelles.
“Je pense que les gens n’ont vu que la pointe de l’iceberg jusqu’à présent avec ces techniques !” Pinkney a écrit. “Personnellement, bien que je pense que les invites de texte sont une interface agréable et facile pour dire à l’IA quel type d’image vous voulez, je suis vraiment intéressé par la façon d’ajouter d’autres moyens d’influencer et de contrôler la sortie, pour la rendre beaucoup plus utile pour des artistes et des créatifs pour le guider afin de donner le type d’images qu’ils recherchent.
