Wybuchł nowy skandal związany z walką o identyfikację treści tworzonych przez sztuczną inteligencję. Jeden z twórców oprogramowania twierdzi, że dokonał inżynierii wstecznej SynthID, zaawansowanego systemu znaków wodnych Google DeepMind do oznaczania multimediów generowanych przez sztuczną inteligencję. Pomimo tego, że deweloper publicznie opublikował wyniki swoich badań, Google upiera się, że system pozostaje niezawodny i skuteczny.
Przełom: jak „Aloshdenny” złamał kod
Programista pod pseudonimem Aloshdenny opublikował na GitHubie i Medium opis metody, która pozwala identyfikować i manipulować niewidzialnymi znakami wodnymi Google. W przeciwieństwie do wielu exploitów wysokiego poziomu, podejście to nie wymagało ogromnej mocy obliczeniowej ani dostępu do zastrzeżonego kodu Google. Zamiast tego polegał na sprytnym przetwarzaniu sygnału i wykorzystaniu obszernego zestawu danych obrazu wygenerowanych przez model Gemini.
Według opisu dewelopera proces obejmował:
– Analiza pustego obrazu: Po wygenerowaniu setek „czysto czarnych” lub „czysto białych” obrazów za pomocą programu Gemini programista odkrył, że znak wodny nadal był obecny w danych pikseli.
– Ekstrakcja sygnału: Zwiększając kontrast i odszumiając te obrazy, wzory znaków wodnych stały się rozpoznawalne jako sygnały matematyczne.
– Mapowanie częstotliwości: twórca uśrednił te wzorce, aby określić konkretną „amplitudę i fazę” znaku wodnego przy różnych częstotliwościach.
– Zakłócenia: po rozpoznaniu sygnału projektant mógł szukać tych konkretnych częstotliwości na innych obrazach, aby częściowo zakłócić ich działanie.
Co to jest SynthID i dlaczego jest ważny?
Aby zrozumieć skalę problemu, trzeba poznać samą technologię. SynthID to narzędzie do stosowania „prawie niewidocznych” znaków wodnych. Zamiast dodawać widoczne logo, osadza podpis cyfrowy bezpośrednio w pikselach obrazu podczas jego tworzenia.
Technologia ta jest kluczowa z kilku powodów:
– Anty-deepfakes: Umożliwia odróżnienie prawdziwego zdjęcia od obrazu stworzonego przez sztuczną inteligencję.
– Pochodzenie treści: pomaga platformom takim jak YouTube śledzić syntetyczne kopie twórców i inne rodzaje syntetycznych mediów.
– Odpowiedzialność: Umożliwia programistom utrzymanie cyfrowego śladu tego, co produkują ich modele.
Celem takich systemów rzadko jest stworzenie „niezniszczalnej” tarczy; celem jest raczej „podniesienie kosztów nadużyć”. Jeśli usunięcie znaku wodnego wymaga zaawansowanej wiedzy matematycznej i dużego wysiłku, większość zwykłych użytkowników będzie się bać próbować go ominąć.
Werdykt: luka w systemie czy triumf inżynierii?
Wyniki tego eksperymentu są mieszane. Aloshdenny przyznaje, że nie udało mu się „usunąć” całkowicie znaku wodnego. Zamiast tego metoda ta pozwoliła zmylić dekodery – narzędzia używane do odczytu znaku wodnego – powodując ich nieprawidłowe działanie lub zatrzymanie skanowania obrazu.
Google szybko zaprzeczył tym twierdzeniom. W komentarzu dla The Verge rzeczniczka Miriam Khan powiedziała:
“Nieprawdziwe jest twierdzenie, że to narzędzie może systematycznie usuwać znaki wodne SynthID. SynthID to niezawodne i skuteczne narzędzie do tagowania treści generowanych przez sztuczną inteligencję. “
Szerszy kontekst
Incydent uwydatnia trwający wyścig zbrojeń pomiędzy twórcami sztucznej inteligencji a tymi, którzy chcą ominąć bariery bezpieczeństwa. Ponieważ modele sztucznej inteligencji stają się coraz bardziej zdolne do tworzenia hiperrealistycznych treści, metody oznaczania tych treści muszą stale ewoluować.
Chociaż metoda Aloshdenny’ego nie jest jeszcze narzędziem dostępnym za jednym kliknięciem dla ogółu społeczeństwa, pokazuje, że nawet niewidoczne, matematycznie osadzone znaki wodne są podatne na ukierunkowaną analizę sygnału.
Wniosek
Pomimo zapewnień Google, że SynthID jest bezpieczny, możliwość pokonania jego mechanizmu wykrywania dowodzi, że żaden cyfrowy znak wodny nie jest naprawdę niezniszczalny. Sprawa ta pokazuje, jak trudno jest zachować spójną i rzetelną weryfikację pochodzenia treści w dobie szybkiego postępu w mediach syntetycznych.
