Una nuova controversia è emersa nella lotta per identificare i contenuti generati dall’intelligenza artificiale. Uno sviluppatore di software afferma di aver decodificato SynthID, il sofisticato sistema di filigrana di Google DeepMind progettato per taggare i media generati dall’intelligenza artificiale. Sebbene lo sviluppatore abbia pubblicato apertamente i risultati, Google sostiene che il sistema rimane solido ed efficace.
La svolta: come “Aloshdenny” ha decifrato il codice
Uno sviluppatore che utilizza lo pseudonimo Aloshdenny ha documentato un metodo su GitHub e Medium per identificare e manipolare le filigrane invisibili di Google. A differenza di molti exploit di alto livello, questo approccio non richiedeva un’enorme potenza di calcolo o l’accesso al codice proprietario di Google. Si è invece basato su un’elaborazione intelligente del segnale e su un ampio set di dati di immagini generate da Gemini.
Secondo lo sviluppatore, il processo prevedeva:
– Analizzando immagini “vuote”: generando centinaia di immagini in “nero puro” o “bianco puro” tramite Gemini, lo sviluppatore ha scoperto che la filigrana era ancora presente nei dati dei pixel.
– Estrazione del segnale: migliorando il contrasto e rimuovendo il rumore da queste immagini, i modelli di filigrana sono diventati visibili come segnali matematici.
– Mappatura della frequenza: lo sviluppatore ha calcolato la media di questi modelli per identificare la specifica “grandezza e fase” della filigrana su diverse frequenze.
– Interferenza: una volta compreso il segnale, lo sviluppatore poteva cercare quelle frequenze specifiche in altre immagini per disturbarle parzialmente.
Cos’è SynthID e perché è importante?
Per comprendere la posta in gioco, è necessario comprendere la tecnologia. SynthID è uno strumento di filigrana “quasi invisibile”. Invece di aggiungere un logo visibile, incorpora una firma digitale direttamente nei pixel di un’immagine al momento della creazione.
Questa tecnologia è fondamentale per diversi motivi:
– Lotta ai deepfake: fornisce un modo per distinguere tra fotografia reale e immagini generate dall’intelligenza artificiale.
– Provenienza dei contenuti: aiuta piattaforme come YouTube a tenere traccia dei cloni dei creatori generati dall’intelligenza artificiale e di altri media sintetici.
– Responsabilità: consente agli sviluppatori di mantenere una traccia digitale di ciò che producono i loro modelli.
L’obiettivo di tali sistemi è raramente quello di creare uno scudo “indistruttibile”, ma piuttosto di aumentare il “costo dell’uso improprio”. Se la rimozione di una filigrana richiede conoscenze matematiche avanzate e uno sforzo significativo, la maggior parte degli utenti occasionali sarà dissuasi dal tentare di aggirarla.
Il verdetto: un difetto del sistema o un trionfo dell’ingegneria?
I risultati di questo esperimento sono sfumati. Aloshdenny ammette di non essere riusciti a “eliminare” completamente la filigrana. Invece, il metodo è riuscito a confondere i decodificatori —gli strumenti utilizzati per leggere le filigrane—provocandone il fallimento o la rinuncia durante la scansione di un’immagine.
Google si è affrettata a respingere le affermazioni. In una dichiarazione a The Verge, la portavoce Myriam Khan ha affermato:
“Non è corretto affermare che questo strumento può rimuovere sistematicamente le filigrane SynthID. SynthID è uno strumento di filigrana robusto ed efficace per i contenuti generati dall’intelligenza artificiale.”
Il contesto più ampio
Questo sviluppo evidenzia la “corsa agli armamenti” in corso tra gli sviluppatori di intelligenza artificiale e coloro che cercano di aggirare i guardrail di sicurezza. Man mano che i modelli di intelligenza artificiale diventano sempre più capaci di generare contenuti iperrealistici, i metodi utilizzati per etichettare tali contenuti devono evolversi costantemente.
Anche se il metodo di Aloshdenny non è ancora uno strumento “one-click” per il grande pubblico, dimostra che anche le filigrane invisibili e incorporate matematicamente sono vulnerabili all’analisi dedicata del segnale.
Conclusione
Mentre Google insiste che il suo SynthID rimanga sicuro, la capacità di interrompere il suo meccanismo di rilevamento dimostra che nessuna filigrana digitale è veramente invincibile. Questo incidente sottolinea la difficoltà di mantenere una provenienza permanente e affidabile in un’era di supporti sintetici in rapido progresso.
