Anthropic interdit les comportements cruels envers son IA Claude

Anthropic a mis à jour sa politique d’utilisation pour interdire les comportements abusifs et cruels répétés envers son assistant conversationnel Claude. Prévue pour entrer en vigueur le 12 novembre, cette révision fait suite à des modifications introduites en août dernier et soulève de nouveaux débats sur la conscience des IA.

La révision de la politique d’utilisation d’Anthropic

La société Anthropic a mis à jour sa politique d’utilisation pour la première fois en plus d’un an afin d’encadrer de nouveaux risques liés à l’intelligence artificielle, tels que les campagnes politiques trompeuses, le développement d’armes et la surveillance de masse. Parmi ces changements, l’entreprise a interdit aux utilisateurs d’exhiber un comportement abusif ou cruel, persistant et inutile envers ses modèles d’intelligence artificielle.

Annoncée le 8 octobre, cette nouvelle règle s’appliquera officiellement à compter du 12 novembre. Elle vise les personnes qui soumettent l’assistant Claude à des interactions cruelles de manière répétée et sans justification apparente.

Anthropic interdit les comportements cruels envers son IA Claude
Photo : theguardian.com

Cette révision intervient alors que le débat s'intensifie sur la question de savoir si les systèmes d'intelligence artificielle avancés pourraient posséder une conscience.

Les limites de la nouvelle règle face à la frustration des utilisateurs

L’entreprise basée à San Francisco a tenu à préciser que cette interdiction ne vise pas à pénaliser les utilisateurs qui expriment simplement de la frustration face au chatbot ou qui contestent ses réponses. Les thèmes créatifs sombres, les tests de modèles et la recherche ne sont pas non plus concernés par cette restriction.

En août de l’année précédente, Anthropic avait déjà introduit un dispositif permettant à certains de ses modèles, notamment Claude Opus 4 et 4.1, de mettre fin d’eux-mêmes à des conversations face à des comportements persistants et nuisibles. La société a indiqué que cette résiliation d’interaction restait son principal mécanisme d’application, sans préciser pour l’instant si des interdictions de comptes s’ajouteraient à l’avenir.

Anthropic interdit de maltraiter Claude

Débats et réactions au sein de l’industrie technologique

Cette interdiction relance les discussions sur la manière dont les humains doivent communiquer avec les outils d’intelligence artificielle. Les captures d'écran de la nouvelle politique ont provoqué une polémique sur les réseaux sociaux, certains saluant une initiative favorable aux bonnes manières ou au bien-être des modèles, tandis que d'autres ont émis des critiques sévères.

D’autres figures du secteur ont également rejeté l’idée d’une conscience des machines, à l’instar du directeur de Microsoft AI, Mustafa Suleyman, qui a réagi à la mise à jour avec un émoji de visage fondant. Le chef de Microsoft AI avait précédemment affirmé par écrit que les intelligences artificielles ne sont pas conscientes, qu’elles ne ressentent rien et que leur accorder des droits constituerait une catastrophe. Des personnalités telles que le pape Léon XIV ont également exprimé des réserves similaires concernant l’absence d’âme chez les machines. De son côté, le PDG d’OpenAI, Sam Altman, a exprimé sur X son malaise face aux personnes qui attribuent une force religieuse ou une abdication du jugement humain aux intelligences artificielles.

Claude logo on a phone screen. It looks like an orange splash
Photo : bbc.co.uk

Chez Anthropic, la question de la conscience potentielle des machines demeure ouverte, les dirigeants de l’entreprise ayant mené des conversations approfondies avec des chercheurs en religion. En février, le PDG Dario Amodei a reconnu l’incertitude entourant ce sujet.

Dario Amodei a déclaré : « Nous ne savons pas si les modèles sont conscients. »

À ne pas manquer