Ha surgido una nueva controversia en la lucha por identificar el contenido generado por IA. Un desarrollador de software afirma haber realizado ingeniería inversa en SynthID, el sofisticado sistema de marcas de agua de Google DeepMind diseñado para etiquetar medios generados por IA. Si bien el desarrollador ha publicado abiertamente sus hallazgos, Google sostiene que el sistema sigue siendo sólido y eficaz.
El gran avance: cómo “Aloshdenny” descifró el código
Un desarrollador que utiliza el seudónimo Aloshdenny ha documentado un método en GitHub y Medium para identificar y manipular las marcas de agua invisibles de Google. A diferencia de muchos exploits de alto nivel, este enfoque no requería una potencia informática masiva ni acceso al código propietario de Google. En cambio, se basó en un procesamiento de señales inteligente y un gran conjunto de datos de imágenes generadas por Gemini.
Según el desarrollador, el proceso implicó:
– Analizando imágenes “vacías”: Al generar cientos de imágenes en “negro puro” o “blanco puro” a través de Gemini, el desarrollador descubrió que la marca de agua todavía estaba presente en los datos de píxeles.
– Extracción de señales: Al mejorar el contraste y eliminar el ruido de estas imágenes, los patrones de las marcas de agua se volvieron visibles como señales matemáticas.
– Mapeo de frecuencia: El desarrollador promedió estos patrones para identificar la “magnitud y fase” específicas de la marca de agua en diferentes frecuencias.
– Interferencia: Una vez que se entendió la señal, el desarrollador podría buscar esas frecuencias específicas en otras imágenes para interrumpirlas parcialmente.
¿Qué es SynthID y por qué es importante?
Para entender lo que está en juego, hay que entender la tecnología. SynthID es una herramienta de marca de agua “casi invisible”. En lugar de agregar un logotipo visible, incorpora una firma digital directamente en los píxeles de una imagen en el momento de su creación.
Esta tecnología es fundamental por varias razones:
– Combatir Deepfakes: Proporciona una forma de distinguir entre fotografías reales e imágenes generadas por IA.
– Procedencia del contenido: Ayuda a plataformas como YouTube a rastrear clones de creadores generados por IA y otros medios sintéticos.
– Responsabilidad: Permite a los desarrolladores mantener un rastro digital de lo que producen sus modelos.
El objetivo de tales sistemas rara vez es crear un escudo “irrompible”, sino más bien aumentar el “costo del mal uso”. Si eliminar una marca de agua requiere conocimientos matemáticos avanzados y un esfuerzo significativo, la mayoría de los usuarios ocasionales se verán disuadidos de intentar eludirla.
El veredicto: ¿un defecto en el sistema o un triunfo de la ingeniería?
Los resultados de este experimento tienen matices. Aloshdenny admite que no pudieron “eliminar” la marca de agua por completo. En cambio, el método logró confundir a los decodificadores (las herramientas utilizadas para leer las marcas de agua), lo que provocó que fallaran o se rindieran al escanear una imagen.
Google se ha apresurado a desestimar las afirmaciones. En una declaración a The Verge, la portavoz Myriam Khan afirmó:
“Es incorrecto decir que esta herramienta puede eliminar sistemáticamente las marcas de agua SynthID. SynthID es una herramienta de marcas de agua sólida y eficaz para contenido generado por IA”.
El contexto más amplio
Este acontecimiento pone de relieve la actual “carrera armamentista” entre los desarrolladores de IA y aquellos que buscan eludir las barreras de seguridad. A medida que los modelos de IA se vuelven más capaces de generar contenido hiperrealista, los métodos utilizados para etiquetar ese contenido deben evolucionar constantemente.
Si bien el método de Aloshdenny aún no es una herramienta de “un solo clic” para el público en general, demuestra que incluso las marcas de agua invisibles y matemáticamente incrustadas son vulnerables a un análisis de señal dedicado.
Conclusión
Si bien Google insiste en que su SynthID sigue siendo seguro, la capacidad de interrumpir su mecanismo de detección demuestra que ninguna marca de agua digital es verdaderamente invencible. Este incidente subraya la dificultad de mantener una procedencia permanente y confiable en una era de medios sintéticos que avanzan rápidamente.
