Nvidia ajoute des fonctionnalités à la gestion de l’IA en périphérie

Nvidia a déjà une réputation mondiale et une désignation de part de marché n ° 1 pour la fabrication d’unités de traitement graphique (GPU) de haut vol pour le rendu d’images, de vidéos et d’animations 2D ou 3D pour l’affichage. Dernièrement, il a profité de son succès pour s’aventurer sur le territoire informatique, mais sans fabriquer de matériel.

Un an après l’entreprise lancé Nvidia Fleet Command, un service basé sur le cloud pour le déploiement, la gestion et la mise à l’échelle des applications d’IA à la périphérie, a lancé de nouvelles fonctionnalités qui aident à réduire la distance entre ces serveurs en améliorant la gestion des déploiements d’IA de périphérie dans le monde.

L’Edge Computing est un système informatique distribué avec son propre ensemble de ressources qui permet de traiter les données plus près de leur origine au lieu d’avoir à les transférer vers un cloud centralisé ou un centre de données. L’informatique de périphérie accélère l’analyse en réduisant le temps de latence impliqué dans le déplacement des données dans les deux sens. Fleet Command est conçu pour permettre le contrôle de tels déploiements via son interface cloud.

“Dans le monde de l’IA, la distance n’est pas l’amie de nombreux responsables informatiques”, a écrit Troy Estes, responsable du marketing produit chez Nvidia, dans un article de blog. “Contrairement aux centres de données, où les ressources et le personnel sont consolidés, les entreprises qui déploient des applications d’IA à la périphérie doivent réfléchir à la manière de gérer la nature extrême des environnements de périphérie.”

Réduire la latence dans les déploiements à distance

Souvent, les nœuds reliant les centres de données ou les clouds et un déploiement d’IA à distance sont difficiles à rendre assez rapides pour être utilisés dans un environnement de production. Avec la grande quantité de données dont les applications d’IA ont besoin, il faut un réseau et une gestion des données hautement performants pour que ces déploiements fonctionnent suffisamment bien pour satisfaire les accords de niveau de service.

“Vous pouvez exécuter l’IA dans le cloud”, a déclaré Amanda Saunders, responsable principale de la vidéo AI chez Nvidia, à VentureBeat. « Mais généralement, la latence qu’il faut pour envoyer des choses dans les deux sens – eh bien, beaucoup de ces emplacements n’ont pas de solides connexions réseau ; ils peuvent sembler être connectés, mais ils ne le sont pas toujours. Fleet Command vous permet de déployer ces applications à la périphérie tout en conservant ce contrôle sur elles afin que vous puissiez accéder à distance non seulement au système, mais à l’application elle-même, afin que vous puissiez voir tout ce qui se passe.

Avec l’ampleur de certains déploiements d’intelligence artificielle en périphérie, les organisations peuvent avoir jusqu’à des milliers d’emplacements indépendants qui doivent être gérés par le service informatique. Parfois, ceux-ci doivent fonctionner dans des endroits extrêmement éloignés, tels que des plates-formes pétrolières, des jauges météorologiques, des magasins de détail distribués ou des installations industrielles. Ces connexions ne sont pas pour les âmes sensibles en réseau.

Nvidia Fleet Command offre une plate-forme gérée pour l’orchestration de conteneurs à l’aide de la distribution Kubernetes qui facilite relativement l’approvisionnement et le déploiement d’applications et de systèmes d’IA dans des milliers d’environnements distribués, le tout à partir d’une seule console basée sur le cloud, a déclaré Saunders.

L’optimisation des connexions fait également partie de la tâche

Le déploiement n’est qu’une étape dans la gestion des applications d’IA à la périphérie. L’optimisation de ces applications est un processus continu qui implique l’application de correctifs, le déploiement de nouvelles applications et le redémarrage des systèmes périphériques, a déclaré Estes. Les nouvelles fonctionnalités de Fleet Command sont conçues pour faire fonctionner ces flux de travail dans un environnement géré avec :

• Gestion à distance avancée : La gestion à distance sur Fleet Command dispose désormais de contrôles d’accès et de sessions chronométrées, éliminant les vulnérabilités associées aux connexions VPN traditionnelles. Les administrateurs peuvent surveiller en toute sécurité l’activité et résoudre les problèmes sur les sites distants depuis le confort de leur bureau. Les environnements Edge sont extrêmement dynamiques, ce qui signifie que les administrateurs responsables des déploiements d’IA Edge doivent être tout aussi dynamiques pour suivre les changements rapides et garantir un temps d’arrêt de déploiement réduit. Cela fait de la gestion à distance une fonctionnalité essentielle pour chaque déploiement d’intelligence artificielle en périphérie.
• Provisionnement GPU multi-instance (MIG) : MIG est désormais disponible sur Fleet Command, permettant aux administrateurs de partitionner les GPU et d’attribuer des applications à partir de l’interface utilisateur de Fleet Command. En permettant aux organisations d’exécuter plusieurs applications d’IA sur le même GPU, MIG permet aux organisations de dimensionner correctement leurs déploiements et de tirer le meilleur parti de leur infrastructure de périphérie.

Plusieurs entreprises ont utilisé les nouvelles fonctionnalités de Fleet Command dans un programme bêta pour ces cas d’utilisation :

• Laboratoire de données Dominoqui fournit une plate-forme MLops d’entreprise qui permet aux scientifiques des données d’expérimenter, de rechercher, de tester et de valider des modèles d’IA avant de les déployer en production ;
• fournisseur de gestion vidéo Systèmes d’étape, qui a créé AI Bridge, une passerelle d’interface de programmation d’applications qui permet aux applications IA d’accéder facilement aux flux vidéo consolidés de dizaines de flux de caméras ; et
• IA IronYun plate-forme Vaidio, qui applique l’analyse de l’IA pour aider les détaillants, les groupes, les stades de la NFL, les usines et autres à alimenter leurs caméras existantes avec la puissance de l’IA.

La marché de la gestion des logiciels d’IA de pointe est projeté par Astute Analytics pour atteindre 8,05 milliards de dollars d’ici 2027. Nvidia est en concurrence sur le marché avec Juniper Networks, VMWare, Cloudera, IBM et Dell Technologies, entre autres.