L’IA est-elle existentiellement dangereuse ou non ?

Pourtant, je ne pense pas qu’il y ait les risques existentiels décrits par Nick. C’est une peur inutile qui détourne l’attention des vrais problèmes. L’IA peut écrire d’innombrables contrevérités – mais pas nécessairement les propager.

Les experts parlent d’hallucinations, l’IA raconte parfois des bêtises. Elle donne aussi souvent des résultats faussés et transporte les préjugés. Ne nous préoccuperons-nous plus, en effet, de ces difficultés ?
Boström : Il y a certainement de nombreuses questions importantes. Certains sont plus évidents et doivent être résolus plus tôt. Mais il y a aussi ceux qui sont plus éloignés et qui comportent de grands risques. Nous devrions nous concentrer sur les deux types de problèmes. Tout comme d’autres doivent faire face aux médicaments anticancéreux, aux accidents de la circulation ou à la paix dans le monde. Nous n’avons pas le luxe de nous concentrer sur un seul problème. Nous avons perdu 20 ans.

Socher : Je peux écrire beaucoup de livres sympas sur les voyages dans le temps ou sur une cape qui vous rend invisible. Dans un livre comme celui-ci, je peux penser à tous les problèmes qui pourraient survenir. C’est cool et intéressant – mais finalement c’est toujours de la science-fiction.

Boström : Mais il y a une grande différence si vous vous inquiétez du voyage dans le temps ou de l’IA, qui a investi plusieurs milliards de dollars. Autant que je sache, personne ne travaille sur des machines à voyager dans le temps ou quelque chose comme ça. Mais toutes les grandes entreprises technologiques se battent pour les talents de l’IA et les semi-conducteurs Nvidia. Les pays élaborent des stratégies nationales pour être à l’avant-garde.

Il y a une raison pour laquelle tant de membres de la communauté de l’IA signent des pétitions. Des meilleurs laboratoires d’IA comme Anthropic, Deepmind et OpenAI, tous les dirigeants et plus d’une centaine de professeurs ont récemment déclaré que la menace d’anéantissement de l’IA équivaut à la menace d’une guerre nucléaire.

Avez-vous signé la lettre, M. Socher ?
Socher : Bien sûr que non. Il y a tellement de pétitions différentes qui sortent et que certains experts en IA signent tandis que d’autres les trouvent ennuyeuses. Les scénarios évoqués par Nick, comme celui impliquant les trombones, sont hautement improbables.

Vous jouez sur le scénario bien connu du « trombone » dans le livre de Bostrom : une IA est programmée dans le but de fabriquer le plus de trombones possible. Le logiciel n’a rien contre les gens, il ne veut pas non plus s’emparer de la domination du monde – mais il veut atteindre l’objectif par tous les moyens nécessaires. Si l’IA est suffisamment intelligente, elle peut acquérir en masse des ressources et d’autres machines, voire convaincre les humains de l’aider – jusqu’à ce que le monde ne fabrique plus que des trombones.
Socher : C’est un scénario complètement négligeable. Comment une machine peut-elle être suffisamment intelligente pour atteindre des sous-objectifs aussi complexes, mais pas assez intelligente pour savoir que ces quantités de trombones doivent également être vendues ?

Pourquoi une entreprise devrait-elle mettre à disposition toutes les ressources, en dehors de la puissance de calcul, qui seraient nécessaires pour cela ? Et pourquoi ne pouvez-vous pas désactiver l’IA, pourquoi fonctionne-t-elle de manière totalement indépendante, avec des ressources infinies et sa propre source d’alimentation, mais pas de serveurs ou quelque chose comme ça ? C’est comme un scénario mal écrit où, en y regardant de plus près, on trouve beaucoup de contradictions.

Pourtant, beaucoup y croient.
Socher : Personne n’y travaille – parce que vous ne pouvez pas gagner d’argent avec. Vous ne gagnez pas d’argent en construisant une voiture super intelligente qui décide d’elle-même d’aller quelque part pour regarder un coucher de soleil avec ses caméras. Même les goûts d’Elon Musk veulent que la voiture soit plus intelligente, mais pas pour qu’elle décide d’aller faire un tour en évitant quiconque sur son chemin.

Boström : Mais de nombreux investisseurs souhaitent rendre les machines plus intelligentes. Et s’ils pouvaient les rendre super intelligents, je suis sûr que beaucoup seraient très heureux de le faire. C’est l’objectif de nombreux laboratoires de recherche. Et ce n’est pas comme si quelqu’un construisait explicitement une IA qui produit autant de trombones que possible – puis les déchaîne sur l’humanité. L’exemple signifie que vous pouvez spécifier n’importe quel objectif.

Et pour presque tous les objectifs imaginables, il existe des raisons compréhensibles pour que l’IA sécurise davantage de ressources. Parce qu’avec plus de ressources, elle peut mieux atteindre son objectif, quel qu’il soit. Cela pourrait être la puissance de calcul ou l’augmentation de votre propre intelligence. L’IA pourrait tromper ses développeurs sur ses véritables capacités pour éviter d’être modifiée ou assommée pour atteindre ses objectifs.