Alors que les entreprises américaines se tournent vers l’IA, les consommateurs sont rejetés pour les prêts et les emplois | Technologie

La ville de New York – Rachel S vit dans un quartier accessible à pied à Brooklyn, New York. La plupart du temps, elle peut vivre confortablement sans voiture. Elle travaille souvent à distance, mais elle doit parfois se rendre au bureau. C’est là que sa situation devient un peu difficile. Son espace de travail n’est pas facilement accessible par les transports en commun.

Parce qu’elle n’a pas besoin de conduire souvent, elle a sollicité la plateforme d’autopartage Zipcar pour répondre à ses besoins occasionnels. Le processus de demande est assez rapide, ce qui permet aux consommateurs de prendre la route en utilisant sa flotte de voitures relativement rapidement.

Malheureusement, ce n’était pas le cas pour Rachel. Dès qu’elle a appuyé sur le bouton Soumettre, elle a été jugée inéligible par le logiciel d’intelligence artificielle utilisé par l’entreprise. Intriguée par le résultat, Rachel a contacté l’équipe du service client de l’entreprise.

Après tout, elle n’a aucun démérite qui laisserait penser qu’elle est une conductrice irresponsable. Elle n’a aucun point sur son permis. Le seul problème a été une contravention qu’elle a reçue à l’âge de dix-sept ans et qui a été payée il y a des années.

Bien que la contravention pour infraction routière ait depuis été rectifiée, elle a aujourd’hui la trentaine et doit encore en subir les conséquences.

Elle a parlé en vain à l’équipe du service client de Zipcar. Malgré un dossier de conduite par ailleurs impeccable, elle a été rejetée. Elle affirme que l’entreprise a déclaré qu’elle n’avait aucun recours et que la décision ne pouvait pas être annulée par un humain.

“Il n’y avait aucune voie ou processus pour faire appel à un être humain et bien que ce soit raisonnable, la seule façon de réessayer serait de présenter une nouvelle demande”, ce pour quoi il y a des frais de candidature non remboursables, a déclaré Rachel à Al Jazeera en rappelant sa conversation avec l’entreprise.

Zipcar n’a pas répondu à la demande de commentaires d’Al Jazeera.

Rachel est l’une des nombreuses consommatrices à qui les systèmes d’IA ont refusé des prêts, des adhésions et même des opportunités d’emploi, sans aucune politique de recours ou d’appel, alors que les entreprises continuent de s’appuyer sur l’IA pour prendre des décisions clés qui ont un impact sur la vie quotidienne.

Cela inclut D qui a récemment perdu son emploi.

Comme condition de l’entretien, D a demandé que nous utilisions uniquement ses initiales par respect pour sa vie privée. D a cherché religieusement une nouvelle opportunité en vain.

Après des mois de recherche, D a finalement décroché un emploi, mais il y avait un énorme problème : le timing.

Il a fallu encore plusieurs semaines avant que D ne commence son nouvel emploi et plusieurs semaines après que D ait reçu son premier salaire.

Pour obtenir une aide supplémentaire, D a demandé un prêt personnel sur plusieurs plateformes dans le but de contourner les prêts sur salaire prédateurs, juste pour s’en sortir en attendant.

D a été rejeté pour tous les prêts demandés. Bien que D n’ait pas confirmé quelles entreprises spécifiques, le secteur propose plusieurs options, notamment Upstart, Upgrade, SoFi, Best Egg et Happy Money, entre autres.

D dit que lorsqu’ils ont appelé les entreprises après avoir soumis une candidature en ligne, personne n’a pu les aider et il n’y a eu aucun appel.

Lorsque D avait une vingtaine d’années, il possédait une carte de crédit avec laquelle il ne parvenait pas à payer ses factures. C’était leur seule carte de crédit. Ils louent également un appartement et utilisent les transports en commun.

Selon les prêteurs en ligne pilotés par l’IA, leur manque d’antécédents de crédit et de garanties les rend inéligibles à un prêt malgré le remboursement de leur dette impayée il y a six ans.

D n’a pas confirmé quelles entreprises spécifiques ils avaient sollicitées pour un prêt. Al Jazeera a contacté chacune de ces sociétés pour obtenir des commentaires sur leurs processus – seules deux ont répondu – Upgrade et Upstart – au moment de la publication.

“Il y a des cas où nous sommes en mesure de modifier la décision concernant le prêt sur la base d’informations supplémentaires, c’est-à-dire la preuve d’autres sources de revenus, qui n’étaient pas fournies dans la demande initiale, mais lorsqu’il s’agit d’un jugement humain, “Il y a beaucoup de place aux préjugés personnels, ce que les régulateurs et les dirigeants de l’industrie ont travaillé dur pour éliminer”, a déclaré un porte-parole de la société Upgrade dans un e-mail adressé à Al Jazeera. « La technologie a apporté objectivité et équité au processus de prêt, les décisions étant désormais prises en fonction du véritable mérite du demandeur. »

Les biais historiques amplifiés

Mais ce n’est pas aussi simple que ça. Les préjugés historiques existants sont souvent amplifiés par la technologie moderne. Selon une enquête menée en 2021 par le média The Markup, les Noirs américains sont 80 % plus susceptibles d’être automatiquement rejetés par les agences d’octroi de prêts que leurs homologues blancs.

“L’IA n’est qu’un modèle formé sur des données historiques”, a déclaré Naeem Siddiqi, conseiller principal chez SAS, une société mondiale d’IA et de données, où il conseille les banques sur le risque de crédit.

Cette situation est alimentée par la longue histoire de pratiques discriminatoires dans le secteur bancaire à l’égard des communautés de couleur aux États-Unis.

“Si vous prenez des données biaisées, l’IA ou n’importe quel modèle ne fera essentiellement que répéter ce que vous lui avez fourni”, a déclaré Siddiqui.

« Le système est conçu pour prendre autant de décisions que possible avec le moins de biais et de jugement humain possible afin d’en faire une décision objective. C’est l’ironie de la situation… bien sûr, il y en a qui passent entre les mailles du filet », a ajouté Siddiqi.

Ce n’est pas seulement une question de race. Des entreprises comme Apple et Goldman Sachs ont même été accusées d’accorder systématiquement des limites de crédit plus basses aux femmes qu’aux hommes.

Ces préoccupations sont également générationnelles. Siddiqi affirme que de tels déni limitent également massivement la mobilité sociale parmi les jeunes générations, comme les jeunes millennials (ceux nés entre 1981 et 1996) et la génération Z (ceux nés entre 1997 et 2012), dans tous les groupes démographiques.

En effet, le terme standard de bonne santé financière – y compris les cartes de crédit, les maisons et les voitures – lorsqu’on évalue la responsabilité financière d’une personne devient de moins en moins pertinent. Seule la moitié environ de la génération Z possède une carte de crédit. C’est un déclin par rapport à toutes les générations précédentes.

Les membres de la génération Z sont également moins susceptibles d’avoir des garanties comme une voiture sur lesquelles miser lors d’une demande de prêt. Selon un récent étude Selon McKinsey, ce groupe d’âge est moins susceptible de choisir d’obtenir un permis de conduire que les générations précédentes. Seul un quart des jeunes de 16 ans et 45 pour cent des jeunes de 17 ans sont titulaires d’un permis de conduire. Cela représente une baisse de 18 pour cent et 17 pour cent, respectivement.

Le Bureau de protection financière des consommateurs a renforcé ses garanties pour les consommateurs. En septembre, l’agence annoncé que les agences de crédit devront désormais expliquer le raisonnement derrière un refus de prêt.

« Les créanciers alimentent souvent ces algorithmes complexes avec de grands ensembles de données, comprenant parfois des données pouvant provenir de la surveillance des consommateurs. En conséquence, un consommateur peut se voir refuser un crédit pour des raisons qu’il ne considère pas particulièrement pertinentes pour ses finances », a indiqué l’agence dans un communiqué.

Cependant, l’agence ne s’attaque pas à l’absence d’une procédure d’appel humaine, à laquelle D prétend avoir été personnellement confronté.

D a déclaré qu’ils avaient dû reporter le paiement de certaines factures, ce qui nuirait à leur santé financière à long terme et pourrait avoir un impact sur leur capacité à obtenir un prêt à des taux d’intérêt raisonnables, voire pas du tout, à l’avenir.

« Laissé à l’écart des opportunités »

Siddiqi suggère que les prêteurs devraient commencer à prendre en compte des données alternatives lorsqu’ils prennent une décision concernant les prêts, qui peuvent inclure le paiement du loyer et des services publics et même le comportement sur les réseaux sociaux ainsi que les habitudes de dépenses.

Sur les réseaux sociaux, les enregistrements à l’étranger sont un indicateur clé.

“Si vous avez plus d’argent, vous avez tendance à voyager davantage ou si vous suivez des pages comme Bloomberg, le Financial Times et Reuters, vous êtes plus susceptible d’être financièrement responsable”, ajoute Siddiqi.

Le problème du rejet automatique ne concerne pas seulement les demandes de prêt et d’adhésion, il concerne également les opportunités d’emploi. Sur les plateformes de médias sociaux comme les utilisateurs de Reddit poste les e-mails de refus qu’ils reçoivent immédiatement après avoir soumis une candidature.

“Je répondais à toutes les exigences et j’ai tapé tous les mots-clés et moins d’une minute après avoir soumis ma candidature, j’ai reçu à la fois l’accusé de réception de la candidature et la lettre de rejet”, a déclaré Matthew Mullen, l’auteur original, à Al Jazeera.

Le monteur vidéo basé dans le Connecticut affirme que c’était une première pour lui. Des experts comme Lakia Elam, responsable du cabinet de conseil en ressources humaines Magnificent Differences Consulting, affirment qu’entre les systèmes de suivi des candidats et d’autres outils basés sur l’IA, cela devient de plus en plus un thème plus vaste et de plus en plus problématique.

Les systèmes de suivi des candidats négligent souvent les compétences transférables qui ne correspondent pas toujours sur papier aux compétences du candidat.

« Souvent, les candidats qui ont un parcours professionnel non linéaire, dont beaucoup viennent d’horizons divers, sont exclus des opportunités », a déclaré Elam à Al Jazeera.

“Je n’arrête pas de dire aux organisations que nous devons conserver la touche humaine dans ce processus”, a déclaré Elam.

Mais les organisations s’appuient de plus en plus sur des programmes comme ATS et ChatGPT. Elam affirme que cela laisse de côté de nombreux candidats intéressants, y compris elle-même.

“Si je devais passer par un système d’IA aujourd’hui, je vous garantis que je serais rejeté”, a déclaré Elam.

Elle a un GED – l’équivalent d’un diplôme d’études secondaires – par opposition à un diplôme de quatre ans.

“Ils voient GED sur mon CV et disent que nous devons rester à l’écart de cela”, a ajouté Elam.

C’est en partie pourquoi les Américains ne veulent pas que l’IA soit impliquée dans le processus de recrutement. Selon un avril 2023 rapport D’après Pew Research, 41 % des Américains pensent que l’IA ne devrait pas être utilisée pour examiner les candidatures à un emploi.

«Cela fait partie d’une conversation plus large sur la perte du chemin vers une procédure régulière», a déclaré Rachel.