Les chercheurs d’OpenAI ont mis en garde contre une avancée qui menaçait l’humanité avant le limogeage d’Altman | Technologie

Plusieurs chercheurs du personnel d’OpenAI ont envoyé une lettre au conseil d’administration peu avant le limogeage de Sam Altman en tant que PDG, tel que publié par l’agence Reuters oui le média spécialisé L’information, citant des sources non identifiées proches du dossier. Ils y mettent en garde contre une puissante découverte de l’intelligence artificielle qui, selon eux, pourrait menacer l’humanité. On ne sait pas exactement quel rôle cette lettre a joué dans le licenciement d’Altman. Des sources citées par Reuters le considèrent comme décisif, tandis que le média spécialisé Le bord Il assure que la lettre n’est pas parvenue au conseil et qu’elle n’a rien à voir avec le limogeage d’Altman.

A la veille de son limogeage soudain, Altman s’est exprimé lors du sommet des dirigeants organisé parallèlement à l’Association économique Asie-Pacifique (Apec). « Quatre fois dans l’histoire d’OpenAI, la dernière fois il y a quelques semaines à peine, j’ai eu l’occasion d’être dans la salle où nous repoussons le voile de l’ignorance et la frontière de la découverte en avant, et de pouvoir le faire. “C’est l’honneur professionnel de ma vie”, a-t-il déclaré. En principe, aucune importance particulière n’a été accordée à ce commentaire et on ne sait pas non plus à quels développements spécifiques il faisait référence.

Selon L’information, Certains employés d’OpenAI pensent que les propos d’Altman faisaient référence à une innovation réalisée par les chercheurs de l’entreprise plus tôt cette année et qui leur permettrait de développer des modèles d’intelligence artificielle beaucoup plus puissants, selon une personne proche du dossier. Cette avancée technique, dirigée par Ilya Sutskever, scientifique en chef d’OpenAI, a suscité des inquiétudes parmi certains employés quant au fait que l’entreprise ne disposait pas de garanties adéquates pour commercialiser des modèles d’IA aussi avancés.

Selon des sources citées par Reuters, la lettre était l’un des facteurs d’une longue liste de griefs qui ont conduit au licenciement d’Altman. L’agence n’a pas pu obtenir une copie de la lettre ni parler aux enquêteurs qui l’ont rédigée. Selon l’une des sources, Mira Murati, membre du conseil d’administration, initialement choisie pour remplacer intérimaire d’Altman, a mentionné mercredi le projet, appelé Q*, aux employés et a déclaré qu’une lettre avait été envoyée au conseil d’administration avant le licenciement d’Altman, qui a ensuite été réintégré sous la pression des salariés et des investisseurs.

Après la publication de la nouvelle, un porte-parole d’OpenAI a déclaré à Reuters que Murati avait informé les employés de ce que les médias allaient publier, mais qu’il n’avait fait aucun commentaire sur la véracité de l’information. Selon lui, le créateur de ChatGPT a fait des progrès sur Q* (prononcer Q-Star), ce qui, selon certains en interne, pourrait constituer une percée dans la recherche de la superintelligence (qui surpasse l’intelligence humaine), également connue sous le nom d’intelligence artificielle générale (AGI). ). D’autres sources proches du projet Q* ne le considèrent cependant pas comme une avancée révolutionnaire.

Problèmes mathématiques

Grâce à ses énormes ressources informatiques, le nouveau modèle a pu résoudre certains problèmes mathématiques. Bien qu’il n’effectue des calculs qu’au niveau des élèves du primaire, la réussite de ce type de tests a rendu les chercheurs très optimistes quant au succès futur de Q*, a indiqué la source. Contrairement à une calculatrice capable de résoudre un nombre limité d’opérations, l’IAG peut généraliser, apprendre et comprendre.

Les chercheurs considèrent les mathématiques comme la frontière du développement de l’IA générative. Aujourd’hui, l’IA générative est efficace pour écrire et traduire des langues en prédisant statistiquement le mot suivant, comme dans ChatGPT. Les réponses à une même question peuvent varier considérablement. Mais acquérir la capacité d’effectuer des calculs mathématiques là où il n’y a qu’une seule bonne réponse implique que l’IA aurait une plus grande capacité de raisonnement qui ressemblerait à l’intelligence humaine. Cela pourrait s’appliquer, par exemple, à de nouvelles recherches scientifiques, estiment les chercheurs en IA.

Selon Reuters, dans leur lettre au Conseil, les chercheurs ont souligné les prouesses de l’IA et son danger potentiel. Les informaticiens débattent depuis longtemps sur le danger que représentent les machines superintelligentes, s’ils considéraient, par exemple, qu’elles étaient intéressées par la destruction de l’humanité. Au sein du conseil d’administration d’OpenAI se trouvaient deux personnes très sensibles à ces risques, qui ont démissionné dans le cadre de l’accord pour le retour d’Altman.

Selon la lettre que les salariés ont envoyée au conseil d’administration pour demander leur démission, ces indépendants ont fait savoir aux administrateurs que permettre la destruction de l’entreprise pourrait être conforme à sa mission en faveur de l’humanité. Et en fait, ils ont embauché un nouveau patron par intérim, Emmet Shear, qui se décrit comme un apocalyptique en faveur de l’arrêt du développement de l’intelligence artificielle, bien qu’il ait ensuite collaboré au retour d’Altman.

Vous pouvez suivre Technologie EL PAÍS dans Facebook oui X ou inscrivez-vous ici pour recevoir notre bulletin d’information semanal.