TensorRT-LLM

NVIDIA a annoncé une réduction de 5 fois des coûts par token pour le modèle DeepSeek V4 grâce à son logiciel d’inférence, selon des rapports de plusieurs sources. Cette optimisation, publiée le 30 juin 2026, permet aux entreprises de traiter des charges de travail complexes à moindre coût.

NVIDIA a détaillé quatre améliorations logicielles qui contribuent à cette réduction de coûts. La première, la « séparation dédiée », sépare les phases de traitement initial et de génération de tokens, réduisant les goulots d’étranglement. La seconde, la « parallélisation des experts », utilise NVLink pour distribuer les calculs entre GPUs, permettant de gérer des modèles plus grands. La troisième, la « précision NVFP4 », réduit la charge mémoire en utilisant des calculs en 4 bits. Enfin, la « prédiction de plusieurs tokens » permet de générer plusieurs tokens en une seule passe, augmentant la vitesse de traitement.

Ces optimisations combinées ont permis une augmentation de 20 fois du débit de tokens sur l’architecture Blackwell, selon le blog de NVIDIA. Les entreprises comme Baseten et Deep Infra ont déjà constaté des gains significatifs, avec une augmentation de 50 % des tokens par seconde.

Au cœur de cette performance se trouve TensorRT-LLM, une bibliothèque logicielle open-source développée par NVIDIA pour optimiser l’exécution des modèles de langage sur ses GPU. L’architecture Blackwell, introduite comme le successeur de l’architecture Hopper, joue un rôle déterminant dans cette équation. Contrairement aux générations précédentes, Blackwell intègre des moteurs de transformation dédiés et une bande passante mémoire accrue, des caractéristiques essentielles pour gérer les modèles d’IA de type “Mixture-of-Experts” (MoE) comme DeepSeek V4.

Le passage à la précision NVFP4 est une avancée technique majeure. En réduisant la précision numérique des poids du modèle à 4 bits, NVIDIA permet de doubler la densité de stockage des paramètres dans la mémoire vive du GPU (VRAM). Cela réduit non seulement la consommation d’énergie, mais permet surtout de faire tenir des modèles beaucoup plus vastes sur une seule unité de traitement, évitant ainsi le recours coûteux à des clusters de serveurs plus larges pour l’inférence standard.

Baseten a utilisé le logiciel TensorRT-LLM de NVIDIA pour déployer DeepSeek V4 Pro sur des GPUs Blackwell, améliorant ses performances de 50 %. Cognition, quant à elle, a utilisé le framework Dynamo pour gérer ses charges de travail d’apprentissage renforcé, évitant ainsi de reconstruire l’infrastructure. Deep Infra a bénéficié de ces optimisations pour déployer des modèles open source de manière efficace.

L’impact est particulièrement visible dans des secteurs comme la santé, où DigitalOcean a aidé Hippocratic AI à améliorer sa vitesse d’inférence de 30 %, tout en maintenant un temps de réponse inférieur à 0,5 seconde pour 10 millions d’appels. Ces gains de latence sont critiques pour les applications d’IA générative en temps réel, où chaque milliseconde supplémentaire peut nuire à l’expérience utilisateur ou à l’efficacité des diagnostics assistés par ordinateur.

NVIDIA met l’accent sur le coût par token comme métrique clé, décrivant comment son logiciel optimise l’ensemble de l’infrastructure. Le « Production Operation » coordonne le déploiement distribué, le « Application Acceleration » permet des performances élevées avec des optimisations personnalisables, et le « Infrastructure Access » simplifie l’accès aux ressources GPU et réseau.

Ces couches, combinées aux technologies NVLink et NVFP4, permettent des gains systémiques. Les entreprises comme Together AI ont utilisé ces outils pour accélérer la mise en production de modèles, comme avec Cursor, qui a amélioré son expérience de codage en temps réel. Dans le contexte actuel, où la demande en puissance de calcul dépasse souvent l’offre disponible, maximiser le débit par GPU est devenu le principal levier de compétitivité pour les fournisseurs de services cloud (CSP) et les startups spécialisées dans l’IA.

Le modèle DeepSeek V4, comme d’autres modèles récents, repose sur une architecture de type “Mixture-of-Experts”. Ce design permet d’activer seulement une fraction des paramètres totaux du modèle pour chaque requête individuelle, ce qui est théoriquement plus efficace. Toutefois, sans une gestion logicielle fine des accès mémoire et de la communication entre les processeurs graphiques, ces modèles peuvent devenir inefficaces à grande échelle. L’intervention de NVIDIA par le biais de son logiciel d’inférence vise précisément à résoudre cette friction entre la complexité du modèle et les capacités physiques du matériel.

La réduction des coûts de 5 fois est un signal fort pour le marché. Pour les développeurs, cela signifie qu’un projet qui était autrefois financièrement non viable — en raison du coût élevé de l’inférence — devient soudainement accessible. Cette démocratisation de l’accès aux modèles de grande taille pourrait accélérer l’adoption de l’IA dans des domaines où les marges sont plus serrées, comme l’analyse de données de masse ou l’automatisation des flux de travail administratifs.

Les entreprises devront continuer à adapter leurs infrastructures pour tirer parti de ces optimisations. Le succès de NVIDIA démontre l’importance du logiciel dans l’efficacité des systèmes d’IA. Des développements futurs se concentreront probablement sur l’automatisation de ces optimisations, permettant à des modèles encore plus complexes de s’exécuter avec une intervention manuelle minimale de la part des ingénieurs systèmes.

Pour plus d’informations, consulter les articles originaux sur TechGenyz, NVIDIA Blog et Wccftech.