En Italie, depuis plusieurs années, certaines administrations publiques confient la gestion des activités qui concernent les citoyens à des algorithmes et à des systèmes automatisés. Mais savoir exactement combien et quels outils de ce type sont utilisés dans les municipalités, les ministères ou d’autres organismes publics est très difficile. En fait, à l’heure actuelle, il n’existe aucun registre officiel permettant de retracer ces informations.
Nous savons qu’il existe un algorithme derrière le système qui définit les classements des écoles pour les enseignants suppléants, mais aussi dans le la reconnaissance faciale utilisée par la police (le Sari)ou dans nouveau Vera, un outil introduit en 2022 par l’agence du revenu pour identifier les fraudeurs fiscaux. Et toujours grâce à un algorithme pendant la pandémie, la priorité a été donnée à l’accès aux vaccins anticovid en fonction des caractéristiques de chacun. Enfin, la carte Mia devrait être associée à un algorithme, à partir duquel les revenus du nouveau citoyen devraient passer.
Les décisions prises sur la base de calculs algorithmiques en Italie sont bien plus nombreuses que nous ne l’imaginons. Seulement que pour tracer leur utilisation et comprendre quelles sont les différences entre elles – par exemple quelles données elles prennent en compte et comment elles sont croisées, dans quel but elles sont utilisées – il faut procéder au cas par cas » car l’agence pour l’Italie numérique, qui coordonne les politiques d’innovation et s’occupe de la réalisation des objectifs de numérisation du pays, n’a jamais activé de véritable veille publique sur cette question.
Liberté limitée par un ordinateur
Cependant, si les systèmes automatisés utilisent des données privées pour aider les administrations à prendre des décisions, il est essentiel que les gens en soient conscients. C’est le poste de Diletta Huyskes, responsable de secteur plaidoyer e politique de l’organisation Privacy network, qu’il a lancé une initiative de surveillance ascendante suivre l’utilisation des algorithmes dans l’administration publique. L’idée est née en 2021 quand, en pleine pandémie de covid-19, c’était précisément un algorithme qui définissait la liberté de mouvement des citoyens en se basant sur vingt et un paramètres pour analyser les données sur les infections propagées à l’échelle nationale.
“Le système de couleurs des différentes régions était à toutes fins utiles un algorithme, mais personne n’avait clairement expliqué aux citoyens comment cela fonctionnait, et j’ai vu le contraste absolu entre travailler comme chercheur dans le lieu qui traitait ces données, le Fondation Bruno Kessler, et rentrer le soir, parler à ma grand-mère et lui expliquer pourquoi le lendemain, à cause de la décision d’un ordinateur, je n’aurais pas pu lui rendre visite”.
Un cas exemplaire d’abus des systèmes automatisés par les administrations publiques également cité par Huyskes comme source d’inspiration pour démarrer l’observatoire était celui du système automatisé œil (System risk indication), utilisé par certaines municipalités aux Pays-Bas pour détecter les cas de fraude sur les services sociaux. Les citoyens n’avaient jamais été informés de l’utilisation de leurs données ni des éventuelles classifications établies par l’algorithme, arrêté et abandonné en 2020 après la condamnation par le tribunal de La Haye pour violation du règlement sur les données personnelles. Le tribunal n’a pas sanctionné l’utilisation de l’algorithme en général, mais a confirmé l’importance pour les citoyens de pouvoir vérifier que leurs données sont utilisées conformément à la loi et que les modèles informatiques ne contiennent pas de biais ou d’erreurs.
Or, en 2021, toujours aux Pays-Bas, un autre algorithme gouvernemental a été bloqué pour des abus présumés puis le Premier ministre Mark Rutte a été contraint de démissionner : en effet, un rapport présenté au parlement en 2020 avait montré dommages à plus de 35 000 personnes accusé à tort de fraude par le fisc néerlandais entre 2004 et 2019 dans l’obtention d’allocations familiales. Le gouvernement a été contraint de rembourser les familles qui n’avaient pas reçu de subventions en raison des paramètres de l’algorithme, qui avait également discriminatoire à l’égard de la double nationalité comme critère de risque.
« Avec Privacy Network, nous nous sommes demandé combien et quels systèmes de ce type étaient actifs dans notre pays. On y va par tâtonnements, en traquant l’actualité dans les journaux qui en parlent puis en faisant une demande d’accès aux documents (fournis par le règlement de 2016 également appelée en Italie Loi sur la liberté de l’information, ou Foia), pour obtenir des informations plus spécifiques de chaque entité. Nous ne parvenons souvent pas à obtenir de réponse parce que les personnes qui y travaillent n’ont aucune idée de son fonctionnement », explique Huyskes.
En Italie, il n’y a toujours pas de réglementation pour l’intelligence artificielle dans l’administration publique
Il est fréquent de découvrir que certaines fonctions sont confiées à des algorithmes, lorsque quelque chose ne fonctionne pas, comme cela s’est produit avec l’algorithme qui attribue des chaires aux enseignants suppléants des écoles, actif depuis 2017. Ou, encore, lorsque le garant de la vie privée intervient pour une éventuelle violation de l’utilisation des données personnelles, comme cela s’est produit récemment avec trois autorités sanitaires locales frioulanes qui avait adopté des algorithmes “pour classer les patients en fonction du risque d’avoir ou non des complications en cas d’infection au covid-19”. C’était un algorithme qui servait à prédire l’état de santé des citoyens, mais selon le garant, le “traitement automatisé” des données des utilisateurs ne doit être possible que lorsqu’il existe une législation spécifique en la matière, et en Italie il n’y a toujours pas de réglementation pour l’intelligence artificielle dans l’administration publique. En effet, les trois ASL devront payer une amende de 55 000 euros et annuler les données en leur possession.
Au sein de l’observatoire, ont été classés des systèmes plus omniprésents connus sous le nom de Sari (Système de reconnaissance automatique d’images), à la disposition des forces de police du ministère de l’Intérieur, mais aussi des expérimentations telles que Shareart, un projet adopté par l’institution Bologna Musei pour surveiller les expressions visuelles des visiteurs du musée devant les œuvres. “Le problème, dans le cas du musée, c’est la prise de conscience des citoyens qui sont devant une œuvre et ne savent pas que leur expression faciale est détectée”, souligne Huyskes. « Par ailleurs, si les données détenues par le musée peuvent être croisées avec celles de l’état civil, du fisc ou d’autres bases de données, il devient indispensable de savoir quel usage pourra en être fait dans le futur, quel que soit celui qui les a collectées pour le compte. première fois. fois”.
Que les administrations publiques, des municipalités aux agences locales de santé en passant par les ministères, se dotent d’algorithmes pour augmenter l’efficacité de certaines procédures est également reconnue par le fait que le Pnrr fournit la destination de six milliards d’euros aux initiatives dans les domaines de la “numérisation de l’AP” et de l'”innovation de l’AP”.
“D’après mon expérience, l’utilisation de ces solutions est de plus en plus fréquente”, affirme l’avocat Ernesto Belisario, avocat qui s’occupe du droit des technologies au sein du cabinet E-lex, “notamment pour les procédures comportant des enquêtes préliminaires complexes, telles que les appels d’offres, les appels d’offres, cession de prestations. Le problème est qu’il n’y a pas suffisamment de prise de conscience, pas même au sein des instances qui les exploitent, qu’il s’agit d’algorithmes, avec tous les risques qu’ils comportent. Nous pensons que ce ne sont que des logiciels, et nous ne pensons pas à leur complexité et à l’impact sur la liberté et les droits des parties intéressées. Et l’utilisation de ces solutions n’est pas toujours déclarée ».
En 2017, un arrêt du conseil d’État a défini pour la première fois des principes relatifs à l’utilisation des algorithmes dans les administrations publiques, traitant de la situation problématique créée par l’algorithme en vigueur depuis juillet de la même année pour les classements scolaires. Sur la possibilité de déléguer des activités administratives à des machines, le conseil d’État a alors rendu plusieurs arrêts, en 2019 et 2020, indiquant qu’il est non seulement possible, “mais souhaitable” d’utiliser des algorithmes dans l’activité administrative, rappelle Belisario, à condition qu’une série de garanties, y compris celle de transparence, prévoyant la possibilité de vérifier à tout moment l’exactitude des algorithmes, même en accédant au code source des programmes informatiques.
Nous voulons traduire les actes administratifs en formules informatiques considérées comme infaillibles, alors qu’il existe une grande marge d’erreur
Si les investissements et le processus de numérisation augmentent la présence des algorithmes dans les décisions publiques, le problème reste celui de la responsabilité.
« Les processus de travail changent et cela a également un impact sur l’administration publique. Mais si la numérisation, et donc l’utilisation de systèmes automatisés, a pour but de créer de l’efficacité, il faut se demander ce qu’elle est et sur qui elle a un impact », argumente la philosophe Teresa Numerico, qui enseigne la logique et la philosophie des sciences à l’université faculté de Rome Trois. Selon Numerico, l’amélioration due à la vitesse de décision des algorithmes n’est pas positive si elle crée de la discrimination ou de l’iniquité, même dans l’accès, car l’efficacité « n’est pas une notion neutre. Un ordinateur est supposé avoir moins biais et des préjugés par rapport à un être humain, mais cela dépend de la façon dont il est construit et sur quelles données il se fonde ».
Si l’on prend un cas exemplaire tel que l’algorithme qui définit les classements des enseignants suppléants à l’école, la question de la responsabilité est centrale : l’erreur appartient à celui qui a conçu les règles sur lesquelles repose le logiciel ou qui a écrit le code qui implémente eux? Ou peut-être, avec Alessandro Fusacchia, ancien chef de cabinet du ministère de l’éducation à l’époque de la Buona scuola, dans le livre L’état nuon peut se demander si cela a à voir avec les centaines de clauses et variables incluses dans le contrat signé par les syndicats et le ministère, “illisibles même pour les plus grands experts mondiaux des classements de l’école italienne”.
Selon Numerico, cet exemple démontre que nous sommes dans une phase “d’interrègne”, dans laquelle nous voulons traduire des actes administratifs, des contrats qui reposent sur des négociations dans lesquelles une certaine discrétion est également attendue, en formules informatiques interprétables par des ordinateurs. , que nous considérons en tout cas comme infaillible, alors qu’il existe une grande marge d’erreur.
La régulation de l’utilisation de ces systèmes, comme cela se passe au niveau européen avec la discussion de la loi sur l’intelligence artificielle, est la première étape vers l’établissement de la responsabilité et des obligations de ceux qui utiliseront des outils d’intelligence artificielle en Europe. Mais tout aussi fondamentale, rappelle Huyskes à propos des objectifs de l’observatoire bottom-up activé par le réseau Privacy, « est la prise de conscience par les citoyens du fait que ces processus existent, et que certaines décisions les concernant sont prises de manière automatisée en fonction de leur données ».
