V boji o identifikaci obsahu vytvořeného umělou inteligencí propukl nový skandál. Jeden vývojář softwaru tvrdí, že vytvořil reverzní inženýrství SynthID, sofistikovaný systém vodoznaků Google DeepMind pro označování médií generovaných umělou inteligencí. Navzdory skutečnosti, že vývojář veřejně zveřejnil výsledky svého výzkumu, Google trvá na tom, že systém zůstává spolehlivý a efektivní.
Průlom: jak „Aloshdenny“ rozluštil kód
Vývojář pod pseudonymem Aloshdenny zveřejnil na GitHubu a Medium popis metody, která umožňuje identifikovat a manipulovat s neviditelnými vodoznaky Google. Na rozdíl od mnoha exploitů na vysoké úrovni tento přístup nevyžadoval enormní výpočetní výkon ani přístup k proprietárnímu kódu Google. Místo toho se spoléhal na chytré zpracování signálu a využití rozsáhlé sady obrazových dat generovaných modelem Gemini.
Podle popisu vývojáře proces zahrnoval následující:
– Analýza prázdných obrázků: Po vygenerování stovek „čistě černých“ nebo „čistě bílých“ obrázků pomocí Gemini vývojář zjistil, že vodoznak je stále přítomen v pixelových datech.
– Extrakce signálu: Zvýšením kontrastu a odstraněním šumu těchto obrázků se vzory vodoznaků staly rozlišitelnými jako matematické signály.
– Mapování frekvence: Vývojář zprůměroval tyto vzory, aby určil specifickou „amplitudu a fázi“ vodoznaku při různých frekvencích.
– Rušení: Jakmile byl signál naučen, mohl konstruktér hledat tyto specifické frekvence v jiných snímcích, aby částečně narušil jejich činnost.
Co je SynthID a proč je důležitý?
Abyste pochopili rozsah problému, musíte pochopit samotnou technologii. SynthID je nástroj pro aplikaci „téměř neviditelných“ vodoznaků. Namísto přidání viditelného loga vloží digitální podpis přímo do pixelů obrazu při jeho vytváření.
Tato technologie je kritická z několika důvodů:
– Anti-deepfakes: Umožňuje rozlišit skutečnou fotografii od obrázku vytvořeného umělou inteligencí.
– Content Origin: Pomáhá platformám jako YouTube sledovat syntetické kopie tvůrců a další typy syntetických médií.
– Odpovědnost: Umožňuje vývojářům udržovat digitální stopu toho, co jejich modely produkují.
Cílem takových systémů je zřídkakdy vytvořit „nezničitelný“ štít; spíše je cílem „zvýšit náklady na zneužívání“. Pokud odstranění vodoznaku vyžaduje pokročilé matematické znalosti a značné úsilí, většina běžných uživatelů se bude bát jej obejít.
Verdikt: zranitelnost systému nebo triumf inženýrství?
Výsledky tohoto experimentu jsou smíšené. Aloshdenny přiznává, že nebyl schopen vodoznak úplně „odstranit“. Namísto toho metoda umožnila zmást dekodéry – nástroje používané ke čtení vodoznaku – což způsobilo jejich nefunkčnost nebo zastavení skenování obrazu.
Google tato tvrzení rychle vyvrátil. V komentáři pro The Verge mluvčí Miriam Khan řekla:
“Není správné tvrdit, že tento nástroj dokáže systematicky odstraňovat vodoznaky SynthID. SynthID je spolehlivý a účinný nástroj pro označování obsahu generovaného umělou inteligencí.”
Širší kontext
Incident zdůrazňuje pokračující závody ve zbrojení mezi vývojáři AI a těmi, kteří se snaží obejít bezpečnostní bariéry. Vzhledem k tomu, že modely umělé inteligence jsou stále schopny vytvářet hyperrealistický obsah, musí se metody označování tohoto obsahu neustále vyvíjet.
Přestože Aloshdennyho metoda zatím není nástrojem na jedno kliknutí pro širokou veřejnost, ukazuje, že i neviditelné, matematicky vložené vodoznaky jsou citlivé na cílenou analýzu signálu.
Závěr
Navzdory ujištění společnosti Google, že SynthID je bezpečný, schopnost porazit jeho detekční mechanismus dokazuje, že žádný digitální vodoznak není skutečně nezranitelný. Tento případ ukazuje, jak obtížné je udržovat konzistentní a spolehlivé ověřování původu obsahu v éře rychlého pokroku v syntetických médiích.
