ChatGPT : Des réponses erratiques révèlent les limites de l’IA générative

(San Francisco) ChatGPT, l’interface d’intelligence artificielle (IA) générative très populaire qui a fait connaître cette technologie, a été hors service pendant plusieurs heures mardi, répondant aux questions des utilisateurs avec des phrases sans queue ni tête, un rappel que ces systèmes sont encore balbutiants.

OpenAI, la start-up qui a lancé le programme fin 2022, a indiqué mercredi matin sur son site que ChatGPT fonctionnait à nouveau « normalement ».

Mardi après-midi – à l’heure de San Francisco, où elle est basée – elle avait annoncé « enquêter sur des signalements de réponses inattendues de la part de ChatGPT ». Quelques minutes plus tard, l’entreprise vedette de la Silicon Valley avait assuré avoir « identifié le problème » et « être en train de le résoudre ».

De nombreux utilisateurs ont mis en ligne des captures d’écran montrant des réponses erratiques ou incompréhensibles du modèle d’IA générative. Cette technologie de pointe permet de produire toutes sortes de contenus (textes, sons, vidéos), d’ordinaire de qualité bluffante, sur simple requête en langage courant.

Sur le forum des développeurs qui utilisent les outils d’OpenAI, un utilisateur baptisé “IYAnepo” a ainsi relevé le comportement “étrange” de ChatGPT.

“Il génère des mots totalement inexistants, omet des mots et produit des séquences de petits mots-clés qui me sont inintelligibles, entre autres anomalies”, a-t-il relaté. “On pourrait penser que j’ai spécifié de telles instructions, mais ce n’est pas le cas. J’ai l’impression que mon GPT est hanté […]”.

Un autre utilisateur, “scott.eskridge”, s’est plaint sur ce même forum que toutes ses conversations avec le modèle de langage “se transforment rapidement en grand n’importe quoi depuis trois heures”.

Il a copié un extrait d’une des réponses de l’interface : “L’argent pour le bit et la liste est l’un des étrangers et l’internet où la monnaie et la personne du coût est l’un des amis et la monnaie. La prochaine fois que vous regarderez le système, l’échange et le fait, n’oubliez pas de donner.”

OpenAI n’a pas fourni plus de précisions sur la nature de l’incident, qui rappelle que l’IA, même générative, n’a pas de conscience ni de compréhension de ce qu’elle “dit”.

Gary Marcus, spécialiste de l’IA, espère que l’incident sera perçu comme un “signal d’alarme”.

“Ces systèmes n’ont jamais été stables. Personne n’a jamais été en mesure de mettre au point des garanties de sécurité autour de ces systèmes”, a-t-il écrit dans son infolettre mardi. “Le besoin de technologies totalement différentes, moins opaques, plus interprétables, plus faciles à entretenir et à déboguer – et donc plus faciles à mettre en œuvre – reste primordial”, a-t-il ajouté.