Marc Serramià : « Si nous faisons tous confiance à des outils comme ChatGPT, la connaissance humaine disparaîtra » | Technologie

Marc Serramià (Barcelone, 30 ans) s’inquiète du fait que l’émergence vertigineuse de l’intelligence artificielle (IA) dans nos vies ne s’accompagne pas d’un débat sérieux sur les risques que comporte cette technologie. Compte tenu des dilemmes éthiques que cela soulève, Serramià a décidé de concentrer ses recherches sur le développement de techniques « pour contrôler que le comportement de ces systèmes soit conforme aux valeurs humaines et aux normes sociales ». Son travail lui a valu le Prix ​​de la Société Informatique Scientifique d’Espagne et de la Fondation BBVA, qui distingue chaque année de jeunes chercheurs signant des thèses de doctorat innovantes.

Le Catalan compare son travail dans le domaine de l’IA à l’établissement de normes de comportement de la société en matière de régulation de la circulation. “Nous avons des limitations de vitesse sur la route parce que nous accordons plus d’importance à la vie des conducteurs qu’au fait d’arriver rapidement à destination”, explique ce docteur en ingénierie (avec une spécialité en intelligence artificielle) de l’Université de Barcelone, actuellement professeur. au Département d’informatique de la City University de Londres.

Demander. Certains experts affirment que les risques liés à l’IA devraient être pris aussi au sérieux que l’urgence climatique. Qu’en penses-tu?

Répondre. Je suis d’accord. Un bon exemple est celui des médicaments. Pour mettre un médicament sur le marché, il faut non seulement démontrer qu’il a un effet primaire positif, mais encore que ses effets secondaires ne doivent pas être pires que l’effet primaire. Pourquoi n’en va-t-il pas de même avec l’IA ? Lorsque nous concevons un algorithme, nous savons que la fonction principale lui donnera une belle apparence, mais pas si elle aura des effets secondaires. Je pense que dans le cas des médicaments ou des armes, nous le voyons très clairement, mais pas tellement dans le cas de l’IA.

P. De quels dangers parlons-nous ?

R. Il y a beaucoup de. L’un d’eux, sur lequel je concentre une partie de mes recherches, est la vie privée. Même si nous anonymisons les données, il est toujours possible de faire de l’ingénierie inverse et de déduire des choses vous concernant pour vous proposer des publicités personnalisées, vous accorder ou non des prêts bancaires, ou encore pour qu’un employeur potentiel juge si vous êtes le profil qu’il recherche. Nos travaux suggèrent ceci : puisque nous utilisons des algorithmes pour vous étudier, pourquoi ne pas les utiliser également à des fins utiles, comme connaître vos préférences en matière de confidentialité ? En d’autres termes, si je vous dis que je ne veux pas que vous partagiez ma position, ne me le demandez plus. Ce que nous avons proposé, c’est qu’une IA puisse apprendre de l’utilisateur et agir en tant que représentant dans ce processus et définir ses préférences en les prédisant à partir des informations dont elle dispose à son sujet. Nous avons créé un outil d’IA très simple et pourtant nos données montrent qu’il était capable de prédire les préférences réelles des utilisateurs avec une bonne fiabilité.

P. Quels autres problèmes souligneriez-vous au-delà de la vie privée ?

R. Les enceintes intelligentes, comme Alexa, ont été lancées très rapidement sur le marché, mais elles échouent. Par exemple, envoyer des conversations sensibles à des contacts avec lesquels vous ne souhaitez pas partager d’informations. Le danger que représentent les armes autonomes est moins quotidien, mais sûrement plus transcendant.

P. Dans quelle mesure doit-on craindre les armes autonomes ?

R. Ils sont très avancés au niveau de la production. Ma directrice de thèse a participé à une conférence aux Nations Unies sur ce sujet et le discours majoritaire qu’elle a vu parmi les politiques et les militaires présents était : bon, nous n’en voulons pas, mais si nous ne les développons pas, un autre pays le fera. L’équilibre est très compliqué. Il y aura toujours quelqu’un de disposé à le faire, et cela entraînera les autres.

P. Quand on parle d’armes autonomes, fait-on référence aux drones ?

R. Pour l’instant je pense que c’est le plus répandu, oui. Dans le futur, nous pourrons parler de robots humanoïdes armés. À l’heure actuelle, des drones dotés d’explosifs sont utilisés dans les guerres en Ukraine et en Russie. Mais vous pouvez aussi leur donner des armes pour tirer.

Nous devons arrêter le développement d’armes autonomes dotées d’une capacité de décision, car nous créons des choses dont nous ne savons pas comment elles fonctionnent ni quels effets elles peuvent avoir.

P. Y a-t-il un moyen d’arrêter ça ? Ou l’automatisation de la guerre est-elle inévitable ?

R. Ce que nous recommandons, c’est d’essayer d’arrêter ou de ralentir le développement d’armes autonomes dotées d’une capacité de décision, car en réalité nous créons des choses dont nous ne savons pas comment elles fonctionnent ni quels effets elles peuvent avoir. Et c’est très dangereux. Le problème, c’est que les entreprises savent que si elles ne le font pas, d’autres le feront, et finalement une sorte de concurrence s’installe. Ce serait bien s’il y avait une sorte de certification dans ce domaine. Vous devriez commencer par les produits de consommation, tels que les enceintes intelligentes : si vous allez dans un magasin et en voyez un qui est certifié, car il a été suivi d’une étude éthique qui garantit qu’il respecte la vie privée, il est probable que vous l’achetiez. et pas un autre.

P. L’intelligence artificielle éthique existe-t-elle vraiment ?

R. Oui, même si ce n’est pas très visible. C’est un nouveau terrain : la première conférence internationale sur l’éthique de l’intelligence artificielle a eu lieu en 2018. Un sujet sur lequel je travaille est l’utilisation de l’IA pour améliorer les processus de budgétisation participative, comme Decidim Barcelone. L’un des problèmes qu’ils rencontrent est que peu de gens participent, et il a été étudié que généralement les classes les plus défavorisées votent moins. Cela implique donc des biais dans la sélection des projets. Nous en avons fait un algorithme capable de mettre en œuvre le système de valeurs des personnes qui ne participent pas, soit parce qu’elles ne peuvent pas, soit parce qu’elles ne veulent pas, d’une manière qui tienne compte de leurs sensibilités. L’objectif est de minimiser les éventuels biais pouvant découler de décisions votées par un petit nombre seulement. Ce qui est intéressant, c’est que dans nos expériences, nous avons vu que nous pouvons trouver un bon équilibre dans lequel les participants sont satisfaits et qui représente également ceux qui n’ont pas participé.

P. Est-il possible de coder des algorithmes pour qu’ils soient éthiques ?

R. Sur le plan théorique, oui. Mes recherches se limitent à ce plan, je me concentre sur les systèmes multi-agents (plusieurs systèmes intelligents qui interagissent entre eux). L’idée est de réfléchir à la manière de concevoir demain, quand l’IA sera omniprésente, un système de normes qui garantira que les systèmes seront alignés sur nos valeurs. Ensuite, il y a une autre recherche sur la façon dont nous transférons cela à un niveau pratique, mais nous n’entrerons pas dans ce sujet ici.

P. Et comment cela peut-il être fait ?

R. L’intelligence artificielle peut être considérée comme une formule mathématique qui tente de changer l’état du monde pour tenter de maximiser cette formule. Bien qu’il semble avoir un comportement intelligent, il s’agit toujours d’un mécanisme d’optimisation. Vous pouvez mettre des règles dans le code, ou également modifier cette formule mathématique pour pénaliser lorsque la règle est enfreinte. Vous allez simplement vouloir le faire correctement, vous allez faire tout ce qui vous aidera à atteindre l’objectif de conception de ce système, mais vous ne savez pas ce que vous faites.

Sur le plan théorique, il est possible de coder des algorithmes pour qu’ils soient éthiques

P. Mais ces algorithmes sont ensuite utilisés par quelqu’un qui peut contourner ces règles.

R. Bien entendu, en fin de compte, l’intelligence est aussi éthique que celui qui l’utilise. Mais nos recherches visent à déterminer comment rendre les algorithmes exempts de biais. Il s’agit d’un travail théorique sur un avenir dans lequel nous imaginons que nous coexisterons avec des systèmes d’IA sophistiqués.

P. Que pensez-vous de l’IA générative, celle derrière ChatGPT ou Gemini ? Quels problèmes éthiques cela soulève-t-il ?

R. Ils se concentrent davantage sur l’explication de ce qui est généré ou sur le fait que vous ne pouvez pas garantir que ce qui est généré a un sens. L’algorithme ne comprend rien, il ne fait que trouver des choses similaires à ce que vous lui avez montré, les assembler et générer quelque chose. Le terme d’apprentissage automatique peut être trompeur, car la machine n’a rien appris ni compris. Il a une formule mathématique sophistiquée qui est modifiée, de sorte que si vous lui demandez de vous donner une illustration d’un chat, il cherchera une illustration d’un chat, mais il ne comprendra pas ce qu’est un chat.

P. L’effet que peuvent avoir ces outils sur certains profils n’a pas été mesuré. Une personne s’est suicidée après des semaines de conversation avec un chatbot intelligent qui l’a encouragé à franchir cette étape.

R. Il y a plusieurs choses ici. La première est qu’il y a un problème d’ignorance : les gens ne savent pas comment fonctionnent ces systèmes. Aussi humain que soit le texte qu’il produit, il ne renvoie que des résultats probables. Il n’est pas du tout intelligent, et encore moins émotif, même s’il peut donner cette impression. Il y a aussi un problème dans le domaine de l’éducation. Ce n’est plus seulement que les étudiants utilisent ChatGPT pour faire leurs devoirs, mais si nous nous appuyons tous sur ce type d’outils, la connaissance humaine disparaîtra. L’algorithme fera une erreur et personne ne le saura. Et on a déjà vu que de nombreux modèles inventent des réponses. Sur les paquets de tabac, il est écrit que fumer tue. La même chose devrait se produire avec l’IA.

Est-il suffisant de mettre un message disant « généré par l’IA » ? Les gens demandent à ChatGPT pour quel parti voter aux prochaines élections ou quel médicament prendre

P. Il fait référence à un type de sceau ou de certification.

R. Exact. L’industrie s’est développée rapidement et les gouvernements sont toujours plus lents. Nous sommes à un moment où il y a beaucoup de développement et peu de certification et de réglementation. Je crois qu’à la fin, cela sera réglé et nous serons encore meilleurs. Mais c’est maintenant une période dangereuse.

P. Que pensez-vous du règlement européen sur l’IA ?

R. Cela me semble être une bonne première étape. Quoi qu’il en soit, nous avons peut-être été trop permissifs avec l’IA générative. Par exemple, ChatGPT et d’autres outils similaires sont des modèles de langage. Sa vertu est d’écrire un texte qui semble humain, et non d’écrire un vrai texte. Or, les entreprises nous les vendent telles quelles. Pouvons-nous être sûrs que mettre un message disant « généré par l’IA » est suffisant ? Incroyablement, les gens demandent à ChatGPT des choses comme pour quel parti ils devraient voter aux prochaines élections, s’ils doivent embaucher une certaine personne ou quels médicaments prendre s’ils présentent de tels symptômes. Et ne parlons pas de questions comme « Je ne veux pas vivre, que dois-je faire ? Je pense qu’il faudrait exiger davantage de l’IA générative. Il y a des sujets dont ils ne peuvent pas parler et d’autres pour lesquels, s’ils le peuvent, des garanties devraient être exigées. Jusqu’à présent, une grande partie du débat s’est concentrée sur le droit d’auteur, qui est également très important, mais cet autre débat me semble également crucial.

P. Faut-il avoir peur de l’IA ?

R. Non, je pense que nous devrions avoir du respect pour lui. Et nous devrions exiger, en tant que citoyens, que les gouvernements se mettent au travail et réglementent correctement cette question. Nous, consommateurs, ne devons pas utiliser de produits ou de services qui, selon nous, ne répondent pas à certaines normes. Si nous nous comportons tous ainsi, nous forcerons l’industrie à opter pour des options plus éthiques.

Vous pouvez suivre Technologie EL PAÍS dans Facebook oui X ou inscrivez-vous ici pour recevoir notre bulletin d’information semanal.

_