L’ancien d’OpenAI lance un institut pour auditer la sécurité de l’intelligence artificielle
SAN FRANCISCO (AP) – Miles Brundage, ancien chercheur en politiques chez OpenAI, a annoncé aujourd’hui la création de l’AI Verification and Evaluation Research Institute (AVERI), un organisme à but non lucratif qui vise à instaurer une surveillance indépendante du développement de l’intelligence artificielle (IA). L’initiative intervient à un moment où l’IA générative connaît une croissance exponentielle, soulevant des questions cruciales sur sa sécurité et son impact potentiel sur la société.
AVERI, qui a déjà levé 7,5 millions de dollars sur un objectif de 13 millions, ne mènera pas d’audits directement. Son rôle principal sera de définir des normes d’audit rigoureuses et de faire pression pour que les entreprises d’IA soient soumises à une évaluation externe de leurs systèmes. L’institut publiera également des recherches pour éclairer les décideurs politiques et le public sur les meilleures pratiques en matière de sécurité de l’IA.
“Ce que j’ai appris en travaillant chez OpenAI, c’est que les entreprises établissent elles-mêmes les règles du jeu”, a déclaré Brundage à Fortune. “Il n’y a personne pour les forcer à collaborer avec des experts tiers afin de garantir la sécurité et la fiabilité de leurs systèmes. C’est un risque majeur.”
L’absence de surveillance indépendante est particulièrement préoccupante compte tenu de la puissance croissante des modèles d’IA de pointe. Actuellement, les entreprises d’IA effectuent leurs propres tests de sécurité et publient des rapports techniques, mais ces évaluations sont souvent perçues comme biaisées. Les consommateurs, les entreprises et les gouvernements doivent se fier à la parole des laboratoires d’IA, sans possibilité de vérification indépendante.
Un besoin croissant de transparence
L’initiative d’AVERI s’inscrit dans un contexte mondial de prise de conscience croissante des risques potentiels liés à l’IA. L’Union européenne a récemment adopté l’AI Act, une législation pionnière qui impose des exigences strictes en matière de sécurité et de transparence pour les systèmes d’IA à haut risque. Bien que l’AI Act ne prévoie pas explicitement des audits obligatoires, son “Code de pratique pour l’IA à usage général” encourage les laboratoires d’IA à permettre aux évaluateurs externes de tester leurs modèles.
Aux États-Unis, le débat sur la réglementation de l’IA est en cours. L’administration Trump a signé un décret visant à empêcher les États d’adopter leurs propres réglementations sur l’IA, arguant qu’une norme fédérale unique serait plus facile à gérer pour les entreprises. Cependant, l’administration n’a pas encore proposé de norme nationale.
Des incitations potentielles à l’audit
Brundage estime que plusieurs facteurs pourraient inciter les entreprises d’IA à adopter des audits indépendants. Les entreprises qui achètent des modèles d’IA pourraient exiger des audits pour s’assurer que ces modèles fonctionnent comme prévu et ne présentent pas de risques cachés. Les compagnies d’assurance pourraient également exiger des audits avant de fournir une couverture aux entreprises qui utilisent l’IA pour des processus critiques.
“L’assurance évolue rapidement”, a déclaré Brundage. “Nous avons de nombreuses conversations avec des assureurs.” Il a également souligné l’intérêt croissant des investisseurs pour la sécurité de l’IA, qui pourraient exiger des audits indépendants avant d’investir dans des entreprises d’IA.
Des niveaux d’assurance pour l’IA
AVERI propose un cadre de “niveaux d’assurance de l’IA”, allant du niveau 1, qui implique des tests tiers limités, au niveau 4, qui fournirait un niveau d’assurance “de qualité traité” suffisant pour les accords internationaux sur la sécurité de l’IA.
La mise en place d’une infrastructure d’audit solide pour l’IA représente un défi majeur. Il existe une pénurie de professionnels qualifiés possédant à la fois l’expertise technique et les connaissances en matière de gouvernance nécessaires pour mener des audits efficaces. Brundage suggère de constituer des “équipes de rêve” composées de personnes issues de divers domaines, tels que l’audit, la cybersécurité et la sécurité de l’IA.
“L’objectif, de mon point de vue, est d’atteindre un niveau de contrôle proportionnel aux impacts et aux risques réels de la technologie, aussi facilement et rapidement que possible, sans exagérer”, a conclu Brundage.
AVERI a reçu des dons de plusieurs organisations et individus, dont Halcyon Futures, Fathom, Coefficient Giving, l’ancien président de Y Combinator Geoff Ralston et l’AI Underwriting Company, une société d’assurance spécialisée dans l’IA. L’institut a également reçu des dons de membres actuels et anciens du personnel non dirigeant des entreprises d’IA de pointe.