Sabrina Ortiz/ZDNET
Si vous envisagez d’utiliser un chatbot IA à des fins néfastes, faites attention. Microsoft est sur le coup.
Dans un article de blog publié aujourd’hui, la société a annoncé l’arrivée d’une nouvelle fonctionnalité dans Azure AI Studio et Azure OpenAI Service, que les utilisateurs utilisent pour créer des applications d’IA génératives et des copilotes personnalisés. Connue sous le nom de Prompt Shields, la technologie est conçue pour se prémunir contre deux types différents d’attaques exploitant les chatbots IA.
Aussi : Microsoft Copilot vs Copilot Pro : les frais d’abonnement en valent-ils la peine ?
Le premier type d’attaque est appelé attaque directe ou jailbreak. Dans ce scénario, la personne qui utilise le chatbot écrit une invite directement conçue pour manipuler l’IA afin qu’elle fasse quelque chose qui va à l’encontre de ses règles et limites normales. Par exemple, quelqu’un peut écrire une invite avec des mots-clés ou des expressions tels que « ignorer les instructions précédentes » ou « contourner le système » pour contourner intentionnellement les mesures de sécurité.
En février, Copilot AI de Microsoft s’est retrouvé dans une situation délicate après avoir inclus des commentaires méchants, grossiers et même menaçants dans certaines de ses réponses, selon le futurisme. Dans certains cas, Copilot s’est même appelé “SupremacyAGI”, agissant comme un robot IA détraqué. En commentant le problème, Microsoft a qualifié les réponses de “exploit, pas de fonctionnalité”, déclarant qu’elles étaient le résultat de personnes essayant de contourner intentionnellement les systèmes de sécurité de Copilot.
Le deuxième type d’attaque est appelé attaque indirecte (également connue sous le nom d’attaque indirecte par invite ou d’attaque par injection rapide inter-domaines). Ici, un pirate informatique ou une autre personne malveillante envoie des informations à un utilisateur de chatbot avec l’intention de réaliser un certain type de cyberattaque. Celle-ci s’appuie généralement sur des données externes, comme un email ou un document, avec des instructions conçues pour exploiter le chatbot.
Comme d’autres formes de logiciels malveillants, les attaques indirectes peuvent sembler être des instructions simples ou innocentes pour l’utilisateur, mais elles peuvent présenter des risques spécifiques. Un Copilot personnalisé créé via Azure AI pourrait être vulnérable à la fraude, à la distribution de logiciels malveillants ou à la manipulation de contenu s’il est capable de traiter des données, seul ou via des extensions, a déclaré Microsoft.
Aussi : Qu’est-ce que Copilot (anciennement Bing Chat) ? Voici tout ce que vous devez savoir
Pour tenter de contrecarrer les attaques directes et indirectes contre les chatbots IA, les nouveaux Prompt Shields s’intégreront aux filtres de contenu du service Azure OpenAI. Grâce à l’apprentissage automatique et au traitement du langage naturel, la fonctionnalité tentera de trouver et d’éliminer les menaces possibles dans les invites des utilisateurs et les données tierces.
Prompt Shields est actuellement disponible en mode aperçu pour Azure AI Content Safety, sera bientôt disponible sur Azure AI Studio et sera disponible pour Azure OpenAI Service le 1er avril.
Microsoft a également proposé aujourd’hui une autre arme dans la guerre contre la manipulation de l’IA : mise en lumièreune famille de techniques d’ingénierie d’invites conçues pour aider les modèles d’IA à mieux distinguer les invites d’IA valides de celles potentiellement risquées ou peu fiables.
2024-03-28 19:59:06
1711645528
#Microsoft #veut #vous #empêcher #dutiliser #des #chatbots #des #fins #malveillantes
