De nouveaux outils aident les artistes à combattre l’IA en perturbant directement les systèmes

Les artistes se battent sur plusieurs fronts contre les sociétés d’intelligence artificielle qui, selon eux, volent leurs œuvres pour former des modèles d’IA – notamment en lançant des recours collectifs et en s’exprimant lors d’audiences gouvernementales.

Aujourd’hui, les artistes visuels adoptent une approche plus directe : ils commencent à utiliser des outils qui contaminent et confondent les systèmes d’IA eux-mêmes.

L’un de ces outils, Nightshade, n’aidera pas les artistes à combattre les modèles d’IA existants qui ont déjà été formés sur leurs œuvres créatives. Mais Ben Zhao, qui dirige l’équipe de recherche de l’Université de Chicago qui a construit l’outil numérique qui sera bientôt lancé, affirme que celui-ci promet de briser les futurs modèles d’IA.

“Vous pouvez considérer Nightshade comme l’ajout d’une petite pilule empoisonnée à l’intérieur d’une œuvre d’art de telle manière qu’elle tente littéralement de confondre le modèle de formation avec ce qui se trouve réellement dans l’image”, explique Zhao.

Comment fonctionne Nightshade

Les modèles d’IA comme DALL-E ou Stable Diffusion identifient généralement les images grâce aux mots utilisés pour les décrire dans les métadonnées. Par exemple, un image d’un chien s’associe avec le mot “chien.” Zhao dit

Nightshade confond cette association en créant une inadéquation entre l’image et le texte.

“Ainsi, par exemple, il prendra l’image d’un chien, la modifiera de manière subtile, de sorte qu’il ressemble toujours à un chien pour vous et moi – sauf pour l’IA, il ressemble maintenant à un chat”, explique Zhao.

Zhao dit qu’il espère que Nightshade sera capable de polluer les futurs modèles d’IA à un point tel que les entreprises d’IA seront obligées soit de revenir aux anciennes versions de leurs plates-formes, soit de cesser d’utiliser les œuvres d’artistes pour en créer de nouvelles.

“Je voudrais créer un monde dans lequel l’IA a des limites, l’IA a des garde-fous, et l’IA a des limites éthiques qui sont appliquées par des outils”, dit-il.

Des armes naissantes dans l’arsenal perturbateur de l’IA d’un artiste

Nightshade n’est pas la seule arme naissante dans l’arsenal perturbateur de l’IA d’un artiste.

L’équipe de Zhao a également récemment lancé Glaze, un outil qui modifie subtilement les pixels d’une œuvre d’art pour empêcher un modèle d’IA d’imiter le style d’un artiste spécifique.

“Glaze n’est qu’une toute première étape dans le rassemblement de personnes pour créer des outils destinés à aider les artistes”, déclare la photographe de mode Jingna Zhang, fondatrice de Cara, une nouvelle communauté en ligne axée sur la promotion de l’art créé par l’homme (par opposition à l’art généré par l’IA). . “D’après ce que j’ai vu lors des tests avec mon propre travail, cela interrompt le résultat final lorsqu’une image est adaptée à mon style.” Zhang dit que des plans sont en cours pour intégrer Glaze et Nightshade à Cara.

Et puis il y a Kudurru, créé par la société à but lucratif Spawning.ai. La ressource, désormais en version bêta, suit les adresses IP des scrapers et les bloque ou renvoie du contenu indésirable, comme un majeur étendu, ou la farce classique de pêche à la traîne sur Internet “Rickroll” qui spamme les utilisateurs sans méfiance avec le clip du chanteur britannique Rick. Le hit pop d’Astley des années 1980, “Never Gonna Give You Up”.

“Nous voulons que les artistes puissent communiquer différemment avec les robots et les scrapers utilisés à des fins d’IA, plutôt que de leur donner toutes leurs informations qu’ils aimeraient fournir à leurs fans”, explique Jordan Meyer, co-fondateur de Spawning.

Les artistes sont ravis

L’artiste Kelly McKernan dit qu’elle a hâte de mettre la main sur ces outils.

“Je me dis juste, allons-y !” dit la peintre et illustratrice basée à Nashville et mère célibataire. « Empoisonnons les ensembles de données ! Faisons-le !

McKernan dit qu’ils mènent une guerre contre l’IA depuis l’année dernière, lorsqu’ils ont découvert que leur nom était utilisé comme invite d’IA, puis que plus de 50 de leurs peintures avaient été récupérées pour des modèles d’IA de LAION-5B, une image massive. base de données.

Plus tôt cette année, McKernan s’est joint à un recours collectif alléguant que Stability AI et d’autres sociétés similaires avaient utilisé des milliards d’images en ligne pour entraîner leurs systèmes sans compensation ni consentement. L’affaire est en cours.

“Je suis en plein milieu de tout ça, avec tant d’artistes”, dit McKernan.

En attendant, McKernan affirme que les nouveaux outils numériques leur donnent le sentiment de faire quelque chose d’agressif et immédiat pour protéger leur travail dans un monde de procès lents et de législations encore plus lentes.

McKernan ajoute qu’ils sont déçus, mais pas surpris, que le décret récemment signé par le président Joe Biden sur l’intelligence artificielle ne parvienne pas à aborder l’impact de l’IA sur les industries créatives.

“Donc, pour l’instant, c’est un peu comme, d’accord, ma maison continue d’être cambriolée, alors je vais me protéger avec une masse et une hache !” disent-ils des opportunités défensives offertes par les nouveaux outils.

Débats sur l’efficacité de ces outils

Alors que les artistes sont enthousiastes à l’idée d’utiliser ces outils, certains experts en sécurité de l’IA et membres de la communauté du développement s’inquiètent de leur efficacité, notamment à long terme.

“Ces types de défense semblent être efficaces contre de nombreux problèmes à l’heure actuelle”, déclare Gautam Kamath, qui étudie la confidentialité des données et la robustesse des modèles d’IA à l’Université canadienne de Waterloo. “Mais il n’y a aucune garantie qu’ils seront toujours efficaces dans un an, dans dix ans. Bon sang, même dans une semaine, nous n’en sommes pas sûrs.”

Les plateformes de médias sociaux ont également suscité récemment des débats houleux remettant en question l’efficacité réelle de ces outils. Les conversations impliquent parfois les créateurs des outils.

Meyer de Spawning affirme que son entreprise s’engage à rendre Kudurru robuste.

“Il existe des vecteurs d’attaque inconnus pour Kudurru”, dit-il. “Si les gens commencent à trouver des moyens de contourner ce problème, nous devrons nous adapter.”

“Il ne s’agit pas d’écrire un petit outil amusant qui peut exister dans un monde isolé où certaines personnes s’en soucient, d’autres non, et les conséquences sont minimes et nous pouvons passer à autre chose”, déclare Zhao de l’Université de Chicago. “Cela implique de vraies personnes, leurs moyens de subsistance, et cela compte vraiment. Donc, oui, nous continuerons aussi longtemps qu’il le faudra.”

Un développeur d’IA intervient

Les plus grands acteurs de l’industrie de l’IA – Google, Meta, OpenAI et Stability AI – n’ont pas répondu ou ont refusé les demandes de commentaires de NPR.

Mais Yacine Jernite, qui dirige l’équipe d’apprentissage automatique et de société de la plateforme de développement d’IA Hugging Face, affirme que même si ces outils fonctionnent vraiment bien, ce ne serait pas une si mauvaise chose.

“Nous les considérons comme une évolution très positive”, déclare Jernite.

Jernite affirme que les données devraient être largement disponibles pour la recherche et le développement. Mais les sociétés d’IA devraient également respecter le souhait des artistes de ne pas voir leurs œuvres supprimées.

“Tout outil permettant aux artistes d’exprimer leur consentement correspond tout à fait à notre approche consistant à essayer d’obtenir autant de perspectives sur ce qui constitue un ensemble de données de formation”, dit-il.

Jernite affirme que plusieurs artistes dont le travail a été utilisé pour former des modèles d’IA partagés sur la plateforme Hugging Face se sont prononcés contre cette pratique et, dans certains cas, ont demandé que les modèles soient supprimés. Les développeurs ne sont pas obligés de s’y conformer.

“Mais nous avons constaté que les développeurs ont tendance à respecter les souhaits des artistes et à supprimer ces modèles”, explique Jernite.

Pourtant, de nombreux artistes, dont McKernan, ne font pas confiance aux programmes de désinscription des sociétés d’IA. “Ils ne les proposent pas tous”, précise l’artiste. “Et ceux qui le font ne rendent souvent pas le processus facile.”

Histoires audio et numériques éditées par Meghan Collins-Sullivan. Audio produit par Isabelle Gómez-Sarmiento.