<span class="glossaryLink" aria-describedby="tt" data-cmtooltip="
” data-gt-translate-attributes=”[{” attribute=””>MIT researchers unveil the first open-source simulation engine capable of constructing realistic environments for deployable training and testing of autonomous vehicles.
Since they’ve proven to be productive test beds for safely trying out dangerous driving scenarios, hyper-realistic virtual worlds have been heralded as the best driving schools for autonomous vehicles (AVs). Tesla, Waymo, and other self-driving companies all rely heavily on data to enable expensive and proprietary photorealistic simulators, because testing and gathering nuanced I-almost-crashed data usually isn’t the easiest or most desirable to recreate.
VISTA 2.0 is an open-source simulation engine that can make realistic environments for training and testing self-driving cars. Credit: Image courtesy of MIT CSAIL
With this in mind, scientists from MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) created “VISTA 2.0,” a data-driven simulation engine where vehicles can learn to drive in the real world and recover from near-crash scenarios. What’s more, all of the code is being released open-source to the public.
“Today, only companies have software like the type of simulation environments and capabilities of VISTA 2.0, and this software is proprietary. With this release, the research community will have access to a powerful new tool for accelerating the research and development of adaptive robust control for autonomous driving,” says the senior author of a paper about the research, MIT Professor and CSAIL Director Daniela Rus.
VISTA est un simulateur photoréaliste basé sur les données pour la conduite autonome. Il peut simuler non seulement la vidéo en direct, mais aussi les données LiDAR et les caméras d’événements, et également incorporer d’autres véhicules simulés pour modéliser des situations de conduite complexes. VISTA est open source et le code peut être trouvé ci-dessous.
VISTA 2.0, qui s’appuie sur le modèle précédent de l’équipe, VISTA, est fondamentalement différent des simulateurs audiovisuels existants car il est basé sur les données. Cela signifie qu’il a été construit et rendu de manière photoréaliste à partir de données du monde réel, permettant ainsi un transfert direct vers la réalité. Alors que l’itération initiale ne prenait en charge que le suivi d’une seule voie de voiture avec un seul capteur de caméra, la réalisation d’une simulation haute fidélité basée sur les données nécessitait de repenser les fondements de la manière dont différents capteurs et interactions comportementales peuvent être synthétisés.
Entrez VISTA 2.0 : un système basé sur les données qui peut simuler des types de capteurs complexes et des scénarios et des intersections massivement interactifs à grande échelle. En utilisant beaucoup moins de données que les modèles précédents, l’équipe a pu former des véhicules autonomes qui pourraient être nettement plus robustes que ceux formés sur de grandes quantités de données du monde réel.
“Il s’agit d’un saut massif dans les capacités de simulation basée sur les données pour les véhicules autonomes, ainsi que d’une augmentation de l’échelle et de la capacité à gérer une plus grande complexité de conduite”, déclare Alexander Amini, doctorant CSAIL et co-auteur principal de deux nouveaux articles, avec son collègue doctorant Tsun-Hsuan Wang. “VISTA 2.0 démontre la capacité de simuler des données de capteurs bien au-delà des caméras RVB 2D, mais également des lidars 3D extrêmement dimensionnels avec des millions de points, des caméras basées sur des événements à cadencement irrégulier, et même des scénarios interactifs et dynamiques avec d’autres véhicules également.”
L’équipe de scientifiques a été en mesure d’adapter la complexité des tâches de conduite interactives pour des choses comme le dépassement, le suivi et la négociation, y compris des scénarios multi-agents dans des environnements hautement photoréalistes.
Parce que la plupart de nos données (heureusement) ne concernent que la conduite courante et quotidienne, la formation de modèles d’IA pour les véhicules autonomes implique un fourrage difficile à sécuriser de différentes variétés de cas extrêmes et des scénarios étranges et dangereux. Logiquement, nous ne pouvons pas simplement percuter d’autres voitures juste pour apprendre à un réseau de neurones comment ne pas percuter d’autres voitures.
Récemment, on s’est éloigné des environnements de simulation plus classiques, conçus par l’homme, pour ceux construits à partir de données du monde réel. Ces derniers ont un immense photoréalisme, mais les premiers peuvent facilement modéliser des caméras et des lidars virtuels. Avec ce changement de paradigme, une question clé est apparue : peut-on synthétiser avec précision la richesse et la complexité de tous les capteurs dont les véhicules autonomes ont besoin, tels que les lidars et les caméras événementielles plus rares ?
Les données des capteurs Lidar sont beaucoup plus difficiles à interpréter dans un monde axé sur les données – vous essayez en fait de générer de tout nouveaux nuages de points 3D avec des millions de points, uniquement à partir de vues clairsemées du monde. Pour synthétiser les nuages de points lidar 3D, les chercheurs ont utilisé les données collectées par la voiture, les ont projetées dans un espace 3D provenant des données lidar, puis ont laissé un nouveau véhicule virtuel se déplacer localement à partir de l’endroit où se trouvait ce véhicule d’origine. Enfin, ils ont projeté toutes ces informations sensorielles dans le cadre de vision de ce nouveau véhicule virtuel, à l’aide de réseaux de neurones.
Associé à la simulation de caméras basées sur les événements, qui fonctionnent à des vitesses supérieures à des milliers d’événements par seconde, le simulateur était capable non seulement de simuler ces informations multimodales, mais également de le faire en temps réel. Cela permet de former des réseaux de neurones hors ligne, mais aussi de tester en ligne sur la voiture dans des configurations de réalité augmentée pour des évaluations en toute sécurité. “La question de savoir si la simulation multicapteur à cette échelle de complexité et de photoréalisme était possible dans le domaine de la simulation basée sur les données était une question très ouverte”, déclare Amini.
Avec ça, l’auto-école devient une fête. Dans la simulation, vous pouvez vous déplacer, avoir différents types de contrôleurs, simuler différents types d’événements, créer des scénarios interactifs et simplement déposer de nouveaux véhicules qui n’étaient même pas dans les données d’origine. Ils ont testé le suivi de voie, le virage de voie, le suivi de voiture et des scénarios plus risqués comme le dépassement statique et dynamique (voir les obstacles et se déplacer pour ne pas entrer en collision). Avec le multi-agences, les agents réels et simulés interagissent, et de nouveaux agents peuvent être déposés dans la scène et contrôlés de n’importe quelle manière.
En emmenant leur voiture grandeur nature dans la « nature » – alias Devens, Massachusetts – l’équipe a constaté une transférabilité immédiate des résultats, avec à la fois des échecs et des succès. Ils ont également pu démontrer le mot magique et audacieux des modèles de voitures autonomes : « robuste ». Ils ont montré que les AV, entièrement formés à VISTA 2.0, étaient si robustes dans le monde réel qu’ils pouvaient gérer cette suite insaisissable de pannes difficiles.
Maintenant, une barrière de sécurité sur laquelle les humains comptent et qui ne peut pas encore être simulée est l’émotion humaine. C’est la vague amicale, le hochement de tête ou le commutateur clignotant de reconnaissance, qui sont le type de nuances que l’équipe souhaite mettre en œuvre dans les travaux futurs.
“L’algorithme central de cette recherche est de savoir comment nous pouvons prendre un ensemble de données et construire un monde complètement synthétique pour l’apprentissage et l’autonomie”, explique Amini. « C’est une plate-forme qui, je crois, pourrait un jour s’étendre dans de nombreux axes différents à travers la robotique. Pas seulement la conduite autonome, mais de nombreux domaines qui reposent sur la vision et des comportements complexes. Nous sommes ravis de publier VISTA 2.0 pour permettre à la communauté de collecter ses propres ensembles de données et de les convertir en mondes virtuels où ils peuvent simuler directement leurs propres véhicules autonomes virtuels, conduire sur ces terrains virtuels, entraîner des véhicules autonomes dans ces mondes, puis peut les transférer directement sur de véritables voitures autonomes de taille normale.
Référence : « VISTA 2.0 : An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles » par Alexander Amini, Tsun-Hsuan Wang, Igor Gilitschenski, Wilko Schwarting, Zhijian Liu, Song Han, Sertac Karaman et Daniela Rus, 23 novembre 2021, Informatique > Robotique.
arXiv:2111.12083
Amini et Wang ont rédigé l’article aux côtés de Zhijian Liu, doctorant au MIT CSAIL ; Igor Gilitschenski, professeur adjoint en informatique à l’Université de Toronto; Wilko Schwarting, chercheur en IA et MIT CSAIL PhD ’20 ; Song Han, professeur associé au département de génie électrique et d’informatique du MIT ; Sertac Karaman, professeur agrégé d’aéronautique et d’astronautique au MIT ; et Daniela Rus, professeure au MIT et directrice du CSAIL. Les chercheurs ont présenté leurs travaux à la conférence internationale IEEE sur la robotique et l’automatisation (ICRA) à Philadelphie.
Ce travail a été soutenu par la National Science Foundation et le Toyota Research Institute. L’équipe reconnaît le soutien de NVIDIA avec le don du Drive AGX Pegasus.
