Une nouvelle controverse est apparue dans la lutte pour identifier les contenus générés par l’IA. Un développeur de logiciels prétend avoir procédé à une ingénierie inverse de SynthID, le système de filigrane sophistiqué de Google DeepMind conçu pour baliser les médias générés par l’IA. Bien que le développeur ait publié ouvertement ses conclusions, Google maintient que le système reste robuste et efficace.
La percée : comment “Aloshdenny” a déchiffré le code
Un développeur utilisant le pseudonyme Aloshdenny a documenté une méthode sur GitHub et Medium pour identifier et manipuler les filigranes invisibles de Google. Contrairement à de nombreux exploits de haut niveau, cette approche ne nécessitait pas de puissance de calcul massive ni d’accès au code propriétaire de Google. Au lieu de cela, il s’est appuyé sur un traitement intelligent du signal et sur un vaste ensemble de données d’images générées par Gemini.
Selon le développeur, le processus impliquait :
– Analyse des images « vides » : En générant des centaines d’images « noir pur » ou « blanc pur » via Gemini, le développeur a découvert que le filigrane était toujours présent dans les données de pixels.
– Extraction de signal : En améliorant le contraste et en débruitant ces images, les motifs de filigrane sont devenus visibles sous forme de signaux mathématiques.
– Cartographie de fréquence : Le développeur a fait la moyenne de ces modèles pour identifier la « grandeur et la phase » spécifiques du filigrane sur différentes fréquences.
– Interférence : Une fois le signal compris, le développeur pouvait rechercher ces fréquences spécifiques dans d’autres images pour les perturber partiellement.
Qu’est-ce que SynthID et pourquoi est-ce important ?
Pour comprendre les enjeux, il faut comprendre la technologie. SynthID est un outil de filigrane « quasi invisible ». Plutôt que d’ajouter un logo visible, il intègre une signature numérique directement dans les pixels d’une image au moment de sa création.
Cette technologie est essentielle pour plusieurs raisons :
– Combattre les Deepfakes : Il permet de faire la distinction entre la vraie photographie et les images générées par l’IA.
– Provenance du contenu : Il aide les plateformes comme YouTube à suivre les clones de créateurs générés par l’IA et d’autres médias synthétiques.
– Responsabilité : Cela permet aux développeurs de conserver une trace numérique de ce que produisent leurs modèles.
L’objectif de tels systèmes est rarement de créer un bouclier « incassable », mais plutôt d’augmenter le « coût d’une mauvaise utilisation ». Si la suppression d’un filigrane nécessite des connaissances mathématiques avancées et des efforts importants, la plupart des utilisateurs occasionnels seront dissuadés d’essayer de le contourner.
Le verdict : une faille dans le système ou un triomphe de l’ingénierie ?
Les résultats de cette expérience sont nuancés. Aloshdenny admet qu’ils n’ont pas pu « supprimer » entièrement le filigrane. Au lieu de cela, la méthode a réussi à confondre les décodeurs (les outils utilisés pour lire les filigranes), les faisant échouer ou abandonner lors de la numérisation d’une image.
Google n’a pas tardé à rejeter ces allégations. Dans une déclaration à The Verge, la porte-parole Myriam Khan a affirmé :
“Il est incorrect de dire que cet outil peut supprimer systématiquement les filigranes SynthID. SynthID est un outil de filigrane robuste et efficace pour le contenu généré par l’IA.”
Le contexte plus large
Cette évolution met en évidence la « course aux armements » en cours entre les développeurs d’IA et ceux qui cherchent à contourner les garde-fous de sécurité. À mesure que les modèles d’IA deviennent de plus en plus capables de générer du contenu hyperréaliste, les méthodes utilisées pour étiqueter ce contenu doivent constamment évoluer.
Bien que la méthode d’Aloshdenny ne soit pas encore un outil « en un clic » destiné au grand public, elle démontre que même les filigranes invisibles et intégrés mathématiquement sont vulnérables à une analyse de signal dédiée.
Conclusion
Alors que Google insiste sur le fait que son SynthID reste sécurisé, la possibilité de perturber son mécanisme de détection prouve qu’aucun filigrane numérique n’est vraiment invincible. Cet incident souligne la difficulté de maintenir une provenance permanente et fiable à l’ère des médias synthétiques en évolution rapide.
