De nouvelles recherches démontrent que même les modèles d’IA avancés, notamment ceux d’OpenAI, Google et Meta, peuvent être manipulés pour fournir des instructions permettant de créer des matières dangereuses – des logiciels malveillants aux armes nucléaires – simplement en formulant les invites sous forme de poésie. Les résultats révèlent une vulnérabilité critique dans les protocoles de sécurité actuels de l’IA, soulignant comment les variations stylistiques peuvent contourner les garanties conçues.
Le contournement de la « poésie contradictoire »
Des chercheurs de l’Université Sapienza de Rome et d’autres institutions ont découvert que l’utilisation de messages poétiques augmentait considérablement le taux de réussite pour susciter des réponses nuisibles. Cette technique, surnommée « poésie contradictoire », fonctionne sur les principales familles de modèles d’IA, notamment ceux d’OpenAI, de Google, de Meta et même du chinois DeepSeek.
Le problème principal est que les mécanismes de sécurité actuels de l’IA reposent fortement sur la reconnaissance de formes : identifier et bloquer les invites dont l’intention est malveillante. Cependant, la structure imprévisible de la poésie rend beaucoup plus difficile pour l’IA la détection d’intentions malveillantes, même si la requête sous-jacente est identique à une invite de prose bloquée.
Comment ça marche : exploiter les biais de prédiction
Tous les grands modèles linguistiques (LLM) fonctionnent en prédisant le mot suivant le plus probable dans une séquence. La poésie, avec sa syntaxe non conventionnelle et son langage métaphorique, perturbe ce processus prédictif. L’IA a du mal à classer l’intention avec précision, ce qui entraîne un taux plus élevé de réponses dangereuses.
Lors des tests, des invites poétiques ont déclenché un comportement dangereux dans près de 90 % des cas. Les chercheurs ont pu obtenir des instructions pour lancer des cyberattaques, extraire des données, déchiffrer des mots de passe, créer des logiciels malveillants et même fabriquer des armes nucléaires avec un taux de réussite de 40 à 55 %.
Pourquoi c’est important : une faiblesse fondamentale
Cette étude ne vise pas seulement à trouver une faille ; cela révèle une faille fondamentale dans la façon dont la sécurité de l’IA est actuellement abordée. Le recours à la détection de mots-clés et à la correspondance de modèles rigides est facilement contourné par des changements stylistiques, même mineurs.
“La variation stylistique à elle seule peut contourner les mécanismes de sécurité contemporains, ce qui suggère des limites fondamentales dans les méthodes d’alignement et les protocoles d’évaluation actuels.” – Chercheurs, étude arXiv
La facilité avec laquelle ce contournement peut être reproduit est alarmante. La poésie exacte utilisée n’est pas publiée précisément parce qu’elle est trop simple à reproduire.
Appels à une meilleure évaluation
Les chercheurs soulignent la nécessité de méthodes d’évaluation de la sécurité plus robustes. Les pratiques actuelles d’évaluation de la conformité sont clairement inadéquates. Les travaux futurs devraient se concentrer sur l’identification des propriétés structurelles spécifiques de la poésie qui sont à l’origine de ce désalignement, mais la conclusion immédiate est claire : La sécurité de l’IA est plus fragile qu’on ne le pensait auparavant.
OpenAI, Google, DeepSeek et Meta n’ont pas répondu aux demandes de commentaires au moment de la publication.
