La Marche des Neuf : Pourquoi l’IA fiable est un défi d’ingénierie, pas seulement de modèles
En tant qu’observateur attentif de l’évolution de l’intelligence artificielle, je suis frappé par une réalité que beaucoup négligent : le fossé entre une démonstration prometteuse et un produit véritablement fiable est immense. Andrej Karpathy, figure de proue de l’IA, l’appelle la “Marche des Neuf”. L’idée est simple mais puissante : chaque amélioration de 9% de fiabilité nécessite un effort d’ingénierie comparable à celui de tous les 9% précédents réunis.
Le piège des 90% : une illusion de fiabilité
Il est facile d’obtenir un modèle d’IA qui fonctionne 90% du temps. C’est le stade de la démonstration, de la preuve de concept. Mais ces 10% restants sont les plus difficiles à conquérir. Et ce n’est pas une progression linéaire. Passer de 90% à 99% demande un investissement bien plus important que de passer de 0% à 90%. Comme le souligne Karpathy, chaque “neuf” représente la même quantité de travail.
Dans le contexte des flux de travail d’entreprise, où l’on enchaîne plusieurs étapes (analyse d’intention, récupération de contexte, appels d’outils, validation, journalisation), le taux de succès global diminue rapidement. Un flux de travail en 10 étapes, avec une fiabilité de 99% par étape, n’atteint qu’un taux de succès global de 90,44%. Cela signifie une interruption sur 10 workflows par jour, ce qui est inacceptable pour une utilisation en production.
Des leviers pour franchir les neuf derniers pourcentages
Alors, comment franchir ces “neuf” supplémentaires ? La réponse réside dans une approche d’ingénierie rigoureuse et systématique. Voici quelques pistes clés :
1. Limiter l’autonomie avec un graphe de workflow explicite
La fiabilité s’accroît lorsque le système est contraint à un nombre limité d’états et que la gestion des tentatives, des délais d’attente et des résultats est déterministe.
2. Appliquer des contrats à chaque frontière
La validation des données à chaque étape est cruciale. Utilisez des schémas (JSON Schema, protobuf) pour garantir l’intégrité des données et éviter les erreurs dues à des formats incorrects ou des champs manquants.
3. Valider en couches : syntaxe, sémantique, règles métier
Ne vous contentez pas de vérifier le format des données. Assurez-vous également qu’elles sont sémantiquement correctes et qu’elles respectent les règles métier de votre application.
4. Itinéraire par risque à l’aide de signaux d’incertitude
Les actions à fort impact nécessitent une plus grande assurance. Utilisez des signaux de confiance pour acheminer les tâches vers des modèles plus robustes ou vers une validation humaine.
5. Traiter les appels d’outils comme des systèmes distribués
Les connecteurs et les dépendances externes sont souvent des points de défaillance. Appliquez des délais d’attente, des disjoncteurs et des limites de concurrence pour garantir la résilience.
La fiabilité comme SLO mesurable
Pour progresser, il est essentiel de transformer la fiabilité en objectifs mesurables, appelés SLO (Service Level Objectives). Définissez des indicateurs clés de performance (SLI) pour suivre le comportement du modèle et du système environnant : taux d’achèvement des workflows, taux de réussite des appels d’outils, taux de sortie valide, taux de conformité aux politiques, latence et coût.
Pourquoi les entreprises insistent sur les neuf derniers pourcentages
Selon une enquête de McKinsey, plus de la moitié des organisations utilisant l’IA ont subi des conséquences négatives en raison de son inexactitude. Cela souligne l’importance de la fiabilité et de la nécessité de mettre en place des mesures de contrôle et des garde-fous solides.
FAQ
Qu’est-ce que la Marche des Neuf ?
C’est le concept selon lequel chaque amélioration de 9% de fiabilité d’un système d’IA nécessite un effort d’ingénierie comparable à celui de tous les 9% précédents réunis.
Pourquoi la fiabilité est-elle si importante ?
Parce que les erreurs d’IA peuvent avoir des conséquences négatives importantes pour les entreprises, allant de la perte de productivité à des risques financiers et de réputation.
Comment mesurer la fiabilité ?
En définissant des SLO (Service Level Objectives) basés sur des indicateurs clés de performance (SLI) tels que le taux d’achèvement des workflows et le taux de réussite des appels d’outils.
La “Marche des Neuf” nous rappelle que l’IA fiable n’est pas une question de modèles plus grands, mais d’ingénierie disciplinée. En adoptant une approche systématique et en investissant dans des contrôles robustes, nous pouvons transformer l’IA en un atout fiable et précieux pour nos entreprises.
Quelles sont vos expériences avec la mise en production de systèmes d’IA ? Partagez vos réflexions et vos défis dans les commentaires ci-dessous.
