Vous n’avez pas besoin de l’IA pour nuire aux gens avec des logiciels : l’affaire Royal Mail

Et documentaire récemment sorti au Royaume-Uni ça ramène à la une des journaux la histoire tragique de milliers de sous-maîtres de Royal Mail (le service postal de la Couronne) accusé de fraude, dont beaucoup arrêté et emprisonné sur la base de manques de trésorerie détectés par un logiciel comptable Que dans plusieurs cas ils ne l’étaient pas, comme il s’est avéré avec un retard sensationnel (les faits remontent à la période 2009-2015), ils étaient erronés et infondés.

De nombreux accusés ont eu la force de résister, mais certains n’y sont pas parvenus et se sont suicidés. Ils ne pourront donc pas avoir la (maigre) satisfaction d’être réhabilités et indemnisés pour ce qui a été défini la plus grande erreur judiciaire de l’histoire britannique.

Ce n’est pas la première fois Les erreurs logicielles provoquent même des dommages très graves aux êtres humains (il suffit de penser à accident d’avion causé par bug du Boeing 737 Max), mais le cas de Horizon (le logiciel dont les résultats constituaient la preuve exclusive de la « responsabilité » de l’accusé) est différent et pire. Dans le cas du 737, en effet, le défaut de programmation qui a provoqué le désastre s’est manifesté lorsqu’il n’était plus possible d’intervenir ; pendant les données incorrectes produites par Horizon étaient à la base des décisions prises par les procureurs et les juges qui ont eu tout le temps de les évaluer. Et on se demande : comment est-il possible que ce soient les accusés qui ont démontré l’existence des défauts et, au contraire, aucun enquêteur n’a pensé à vérifier la fiabilité de ces données. prima porter plainte ?

Verso ITW23

Gouverner l’intelligence artificielle, un devoir pour l’Europe

par Brando Benifei*

20 septembre 2023

Pour répondre spécifiquement, il faudrait connaître les pièces de procédure mais, de manière plus générale, la question de relation malsaine qu’entretiennent les institutions et les citoyens avec les technologies de l’informationprésentées comme des divinités toute-puissantes par des officiants dont le véritable but est de les vendre à une masse ignorante et crédule qui les vénère avec le fidéisme le plus acritique. Un scénario qui se met en scène, avec une cohérence cauchemardesque, même avec la soi-disant « intelligence artificielle ».

Le scandale de la poste britannique démontre (s’il en était besoin) que ce n’est pas seulement l’IA qui cause des dommages très graves aux personnes, mais que cela peut aussi se produire à l’aide de logiciels que, à l’inverse, on pourrait qualifier de « stupides ». En effet, on pourrait dire que même si jusqu’à présent nous n’avons pas encore eu à pleurer de décès « dus » à l’IA, le nombre de ceux qui subissent des conséquences, même très graves, à cause de défauts de logiciels « stupides » ne montre aucun signe de diminution.

L’éléphant massif dans la verrerie feutrée du « monde numérique » s’appelle responsabilité du développement logiciel. À ce jour aucun législateur, ni national ni communautaire, ne s’en est sérieusement occupé; mais même sans vouloir promulguer des lois spécifiques, cela aurait déjà été un bon début appliquer la réglementation en vigueur et en particulier la règleplainte concernant la protection des données personnelles. Cette règle impose, en effet, de protéger les droits et libertés fondamentaux de la personne humaine dès les phases de conception des logiciels et donc de vérifier si les résultats du traitement sont corrects et fiables. Mais combien de logiciels et combien de plateformes respectent réellement cette obligation légale ? Et combien de dégâts ont été causés par des logiciels conçus sans tenir compte de l’obligation de protéger les personnes dont les données seraient alors traitées automatiquement ?

Droits numériques

Pourquoi le gouvernement italien se range-t-il du côté de ceux qui ne veulent pas réglementer l’IA ?

par Diletta Huyskes

24 novembre 2023

Il suffirait que les autorités nationales de protection des données aient résolu ce problème pour affecter substantiellement le fonctionnement des programmes en réduisant leurs défauts et en protégeant ainsi les individus et leurs droits, comme dans le cas de “dossiers fous“des amendes envoyées à des individus qui n’avaient jamais parcouru une certaine route, ou des factures stratosphériques émises “par erreur”.

Il n’est pas possible d’affirmer que si le règlement sur les données personnelles avait été appliqué à Royal Mail (les faits datent d’avant le Brexit), les personnes accusées à tort n’auraient pas été jugées ou condamnées. l’industrie du logiciel est basée sur le concept “tel quel”sur la base de laquelle en encaissant le coût de la licence, le développeur ne garantit rienpas même que le programme soit adapté pour satisfaire les besoins de l’utilisateur.

Dans ce scénario de impunité totaletraitant de l’IA – c’est-à-dire des logiciels -, les institutions communautaires ont plutôt proposé d’adopter un régime de responsabilité “aggravée” différencié uniquement pour “IA à haut risque“, comme si ceux-ci pouvaient à eux seuls causer des dommages irréparables aux êtres humains.

Approfondissement

Que sont les bacs à sable réglementaires et quel est leur rapport avec l’intelligence artificielle

par Gabriele Franco

27 novembre 2023

Si l’on veut être partial, on pourrait donc se demander si cette responsabilité aggravée en cas d’« IA à haut risque » n’implique pas, à l’inverse, que les logiciels « stupides » (ou plutôt ceux qui les développent) sont à l’abri des conséquences de les dégâts qu’ils causent car « la bêtise n’est pas un crime ».