les organisations n’ont pas un bon contrôle sur les algorithmes

Les organisations gouvernementales et les entreprises doivent mieux maîtriser les algorithmes qu’elles utilisent. Les systèmes informatiques qui sont utilisés, par exemple, pour le contrôle de la fraude, présentent encore souvent trop de risques, écrit l’Autorité néerlandaise de protection des données (AP). Selon l’organisme de surveillance de la vie privée, les algorithmes peuvent conduire à la discrimination et à l’inégalité des chances, par exemple.

Les algorithmes sont désormais utilisés dans presque toutes les organisations, des banques et des hôpitaux aux municipalités. Par exemple, les banques doivent vérifier qu’aucun paiement illégal n’est effectué. Il est difficile de faire vérifier toutes les transactions par des personnes, c’est pourquoi des systèmes informatiques sont utilisés.

De tels contrôles automatiques avec des algorithmes apportent beaucoup de bien, mais aussi de grands risques, prévient l’AP. Considérons, par exemple, le système utilisé par l’Agence exécutive pour l’éducation (DUO) pour vérifier la fraude aux bourses d’études. En raison de ces contrôles automatiques, les étudiants issus de l’immigration ont été très souvent accusés de fraude, selon les recherches de NOS op 3 et Investico. Ou prenez le scandale des allocations, dans lequel les personnes ayant une double nationalité ont été classées à tort comme des fraudeurs par le système.

L’AP estime que les organisations devraient faire de leur mieux pour prévenir de tels cas. “Il arrive maintenant trop souvent qu’un algorithme soit utilisé avec de bonnes intentions, mais il s’avère souvent qu’il est mal utilisé”, déclare le président de l’AP, Aleid Wolfsen. “Si vous utilisez un algorithme, vous devez très bien savoir dans quel but.”

Selon l’AP, les choses tournent souvent mal parce que les algorithmes sont déjà utilisés avant que l’on ait réfléchi à ce que le système doit faire exactement et comment. “Réfléchir attentivement et tester les résultats avec des données de test, par exemple, est là où les choses tournent souvent mal.”

Par exemple, l’UWV a utilisé un système pour vérifier si les personnes bénéficiant d’allocations de chômage séjournaient illégalement à l’étranger. Pour ce faire, l’agence des avantages sociaux a collecté le comportement de navigation des personnes qui se sont connectées au site UWV. Seul chaque visiteur a été suivi, donc même s’il n’y avait aucune raison concrète à cela, les recherches menées par le NOS et ce week-end ont montré L’heure de l’actualité. Cette forme de surveillance est allée beaucoup trop loin, a conclu le cabinet d’avocats permanent du gouvernement.

“Cela montre immédiatement comment les choses tournent mal”, déclare Wolfsen. “Il a d’abord été utilisé, puis il s’est avéré qu’il fonctionnait mal. Vous devez le faire dans l’autre sens : d’abord tester, d’abord le faire évaluer et ensuite seulement l’utiliser. Sinon, cela ira vraiment mal.”

Pour cela, les organisations gouvernementales et les entreprises doivent attirer beaucoup plus de spécialistes, explique l’AP. “Il faut employer des gens qui connaissent très bien le fonctionnement d’un tel algorithme. Il faut aussi qu’il y ait quelqu’un dans la direction qui ait des connaissances numériques, pour que chacun sache ce qu’il y a dans la maison et ce qui s’y passe.”

Mais le cabinet sortant doit aussi passer à l’action, selon l’AP. Cela devrait rendre les règles beaucoup plus claires pour ces types d’algorithmes et d’IA. “Pour profiter des opportunités, les risques doivent être correctement gérés. La prise de conscience à ce sujet augmente, mais de nombreux gouvernements et entreprises recherchent toujours la bonne façon de le faire. C’est pourquoi des réglementations claires sont désormais cruciales”, déclare Wolfsen.

L’autorité néerlandaise de protection des données est l’organisme qui vérifie si les règles de confidentialité sont correctement respectées. Depuis le début de cette année, le chien de garde surveille également l’utilisation des algorithmes aux Pays-Bas et les risques associés.