Cette puce informatique est optimisée pour l’IA

Le sablier tourne. Et tourne. Et tourne. Quiconque utilise l’intelligence artificielle pour générer une image ou un texte doit être patient. Le temps d’attente n’est rien comparé au temps nécessaire pour entraîner les modèles derrière les générateurs d’IA. Chat-GPT, par exemple, a duré 34 jours et a consommé pendant cette période environ autant d’électricité qu’un millier de foyers par an – rien que pour la formation.

Il n’est donc pas étonnant que les ingénieurs et programmeurs du monde entier tentent de rendre les modèles d’IA plus efficaces. Nvidia, le géant du matériel informatique de la Silicon Valley, lancera en 2024 un processeur appelé GH200 Grace Hopper qui accélérera l’IA plus que tout ce qui l’a précédé.

Pour entraîner une IA, les ordinateurs doivent effectuer un très grand nombre de calculs, non pas les uns après les autres, mais de préférence en même temps, en parallèle. Cela nécessite beaucoup de puissance de calcul – et de mémoire, c’est-à-dire de capacité de stockage. C’est exactement pour cela que Grace Hopper est optimisée.

Que contient la nouvelle « superpuce » ?

200 milliards de fois un ou zéro

Le cœur de chaque ordinateur est une plaque de transistors. Ils agissent comme des interrupteurs et commutent entre deux états : marche et arrêt, un et zéro. Les ordinateurs peuvent ainsi calculer, c’est-à-dire traiter, afficher et stocker des données.

Ce qui semble magique pour la plupart des gens est quelque chose que Frank Gürkaynak, chercheur sur les puces informatiques à l’ETH Zurich, affronte au quotidien. Il déclare : « Plus il y a de transistors, plus une puce informatique est rapide – en théorie. »

Deux points clés déterminent si Grace Hopper peut effectivement calculer plus rapidement avec 200 milliards de transistors qu’un smartphone moderne avec environ 16 milliards : d’une part, l’efficacité des nombreux programmes interposés entre le matériel et l’utilisateur final, c’est-à-dire les algorithmes avec auquel on demande à la puce de faire le calcul.

Et d’autre part, la structure des données brutes : ce n’est que si elles sont traitées proprement et introduites dans la puce de manière bien organisée que celle-ci peut utiliser sa capacité.

On ne sait toujours pas dans quelle mesure cela fonctionne réellement dans le nouveau Grace Hopper. Aucune analyse indépendante ne pourra être réalisée avant la livraison des puces en 2024.

Puissance de calcul : 4 000 fois plus rapide qu’un smartphone

Les informations sur la puissance de calcul montrent de quoi sont capables les milliards de transistors. Grace Hopper calcule à une vitesse de 8 pétaflops. Cela signifie que la puce peut effectuer 8 quadrillions de calculs en une seconde.

Une expérience de pensée montre à quel point ce chiffre est important: disons que tout le monde en Suisse, des nourrissons aux résidents des maisons de retraite, devrait chacun résoudre un milliard de problèmes arithmétiques. Cela est impossible au cours de la vie humaine. Mais si cela réussissait, la Suisse disposerait d’une puissance de calcul de 8 pétaflops : 8 millions de personnes multipliées par un milliard de calculs, cela fait 8 quadrillions de calculs. Grace Hopper peut le faire en une seconde.

Cela rend Grace Hopper environ 4 000 fois plus rapide que le smartphone actuel. Ou, pour le dire autrement : si vous vouliez exprimer la puissance de calcul de Grace Hopper dans les smartphones, vous devrez connecter 4 000 des appareils les plus rapides actuellement disponibles dans le commerce. Si vous retiriez les processeurs et les posiez sur le sol, vous obtiendriez une superficie de plus de deux mètres carrés. Grace Hopper, quant à elle, a à peu près la taille d’une main.

Capacité de stockage : comme regarder la télévision pendant 17 jours

Mais à l’ère de l’IA, il ne suffit pas d’être rapide : il faut également une capacité de stockage particulièrement importante pour pouvoir traiter les grandes quantités de données nécessaires à l’entraînement et à l’utilisation des algorithmes d’IA.

Grace Hopper a une capacité de stockage (mémoire) de 1,2 téraoctets. Celui-ci permet de stocker environ 400 heures de données vidéo, soit environ 200 films. Si ces programmes étaient assemblés et joués sans interruption, vous devriez regarder la télévision pendant 17 jours et 17 nuits.

Par rapport à sa version précédente, le nouveau Grace Hopper dispose de trois fois plus de mémoire. C’est pourquoi, selon Nvidia, c’est trois fois plus rapide dans les applications d’IA.

Mais le chercheur en matériel informatique Gürkaynak déclare également : « Plus de mémoire et plus de flops ne conduisent pas automatiquement à de meilleures performances. » Ce qui rend les puces informatiques plus rapides, c’est leur capacité à acheminer efficacement les données vers les processeurs qui effectuent les calculs. “C’est le grand défi pour tous les fabricants de matériel informatique.”

CPU et GPU ensemble : une « super puce »

Afin de rendre le flux de données aussi rapide que possible, au moins au sein de la puce, Nvidia a trouvé de nombreuses idées. Grace Hopper combine un CPU, une unité centrale de traitement, avec un processeur graphique, un GPU. Les GPU ont autrefois été développés pour les graphiques des jeux vidéo. Mais aujourd’hui, ils sont utilisés partout où de nombreux calculs sont exécutés en parallèle, notamment dans le domaine de l’IA.

La combinaison du CPU et du GPU fait de Grace Hopper une « super puce » aux yeux de Nvidia. À propos, il porte le nom d’une femme : Grace Hopper était une amirale et ingénieure de la marine américaine qui a travaillé sur le premier ordinateur, Mark I, en 1944 et a inventé le langage de programmation Cobol, encore utilisé aujourd’hui.

De nombreuses entreprises travaillent aujourd’hui avec une combinaison de CPU et de GPU. Mais la question est de savoir comment les deux parties sont connectées, c’est-à-dire à quelle vitesse les données peuvent circuler entre elles. Le chiffre clé est de 900 gigaoctets par seconde, ce qui est 700 fois plus rapide qu’une connexion cellulaire avec la 5G et permettrait d’échanger plus d’une centaine de films en une seule seconde.

Il en va de même ici : la mesure dans laquelle cela sera réellement réalisé dans le nouveau Grace Hopper n’a pas encore été testée. Pour l’instant, seuls les chiffres clés des supports marketing sont disponibles, et non des analyses indépendantes.

Consommation électrique : environ autant d’énergie qu’un sèche-cheveux

Quiconque calcule autant que Grace Hopper a également besoin de beaucoup d’énergie. Le fabricant Nvidia a laissé sans réponse une demande de la NZZ sur la consommation électrique exacte d’une puce individuelle. Mais les besoins énergétiques approximatifs peuvent être calculés à partir des informations sur les centres de données qui doivent être équipés de Grace Hopper. En conséquence, une seule puce nécessite environ 1 230 watts, soit à peu près autant qu’un sèche-cheveux.

Désormais, Grace Hopper n’est probablement utilisée seule que très rarement. La puce a été développée dans le cadre d’un système plus vaste. Nvidia veut connecter 256 puces Grace Hopper ensemble et utilisez-le pour construire un centre de données. Connectées les unes aux autres, les puces fonctionnent comme des supercalculateurs. Si le projet réussit, le système devrait immédiatement figurer sur la liste des cinquante ordinateurs les plus rapides l’année prochaine.

Si les puces individuelles nécessitent beaucoup d’énergie, cela s’applique encore plus aux centres de données entiers. Un grand data center consomme rapidement autant d’électricité qu’une petite ville. Aujourd’hui, Nvidia souligne à plusieurs reprises dans ses documents marketing que Grace Hopper utilise 20 fois moins d’énergie pour les applications d’IA que les systèmes comparables. Néanmoins, le nouveau superordinateur de Nvidia équipé des puces Grace Hopper consommera probablement plus d’électricité que 500 foyers suisses moyens réunis.

Potentiel : l’IA va devenir monnaie courante

Si Nvidia tient ses promesses marketing, la nouvelle puce pourrait créer les conditions techniques nécessaires pour que diverses nouvelles applications d’IA soient économiquement rentables. À terme, d’innombrables industries espèrent des percées grâce à l’IA, de la conduite autonome au développement de nouveaux médicaments en passant par la prévision plus précise des catastrophes naturelles.

Que vous utilisiez l’IA pour rédiger vos cartes de Noël ou développer de nouveaux médicaments : le sablier tournera probablement de moins en moins longtemps à l’avenir.