Nvidia AI joue à Minecraft et remporte le prix de la conférence sur l’apprentissage automatique

Un papier décrivant Dojo de la minel’agent IA généraliste de Nvidia qui peut effectuer des actions à partir d’invites écrites dans Minecraft, a gagné un Outstanding Datasets and Benchmarks Paper Award au 2022 NeurIPS (Neural Information Processing Systems), a révélé lundi Nvidia.

Pour entraîner le framework MineDojo à jouer Minecraftles chercheurs l’ont nourri de 730 000 Minecraft Vidéos YouTube (avec plus de 2,2 milliards de mots transcrits), 7 000 pages Web extraites du Minecraft wiki, et 340 000 messages Reddit et 6,6 millions de commentaires Reddit décrivant Minecraft jouabilité.

À partir de ces données, les chercheurs ont créé un modèle de transformateur personnalisé appelé MineCLIP qui associe des clips vidéo à des éléments spécifiques du jeu. Minecraft Activités. En conséquence, quelqu’un peut dire à un agent MineDojo quoi faire dans le jeu en utilisant un langage naturel de haut niveau, comme “trouver une pyramide du désert” ou “construire un portail inférieur et y entrer”, et MineDojo exécutera la série d’étapes nécessaire pour que cela se produise dans le jeu.

MineDojo vise à créer un agent flexible qui peut généraliser les actions apprises et les appliquer à différents comportements dans le jeu. Comme Nvidia écrit“Alors que les chercheurs ont depuis longtemps formé des agents d’IA autonomes dans des environnements de jeux vidéo tels que StarCraft, dota, et Go, ces agents ne sont généralement spécialisés que dans quelques tâches. Les chercheurs de Nvidia se sont donc tournés vers Minecraftle jeu le plus populaire au monde, afin de développer un cadre de formation évolutif pour un agent généraliste, capable d’exécuter avec succès une grande variété de tâches ouvertes. »

Le lauréat papier“MINEDOJO : Créer des agents incarnés ouverts avec des connaissances à l’échelle d’Internet,” a fait ses débuts Ses auteurs incluent Linxi Fan de Nvidia et Guanzhi Wang, Yunfan Jiang, Ajay Mandlekar, Yuncong Yang, Haoyi Zhu, Andrew Tang, De-An Huang, Yuke Zhu et Anima Anandkumar de diverses institutions universitaires.

Vous pouvez voir des exemples de MineDojo en action sur son site officielet le code pour Dojo de la mine et MineCLIP est disponible sur GitHub.