La industria de la IA está haciendo ruido en este momento. Principalmente sobre seguridad. Principalmente sobre control. Específicamente, hay rumores sobre si los gigantes tecnológicos estadounidenses quieren que el gobierno de los EE. UU. prohíba los modelos de peso abierto de China o los modelos de peso abierto en general.
Dario Amodei, fundador y director ejecutivo de Anthropic, finalmente dijo lo que era obvio para cualquiera que leyera las publicaciones de su blog.
No quiere una prohibición. Simplemente no le gusta hacia dónde podría ir la tecnología a continuación.
“Cualquiera que haya leído mis escritos anteriores debería ver que no considero que tales prohibiciones [de pesas abiertas] sean una medida útil… Anthropic nunca ha abogado por una prohibición”.
Esta aclaración llegó el lunes por la tarde. Fue una respuesta directa a una carta abierta publicada en X (anteriormente Twitter) por Jensen Huang. Huang, fundador de Nvidia, compartió esa carta por primera vez.
La carta estaba firmada por una larga lista de empresas: Hugging Face, Meta, Microsoft. Mistral. La propia Nvidia. Se opusieron a las “restricciones prematuras” sobre los modelos de peso abierto.
El subtexto no era sutil. La industria está preocupada por los laboratorios chinos. Creen que esos laboratorios se están poniendo al día rápidamente. O robar.
La destilación es un método. Una IA bombardea a otra con indicaciones. Aprende cómo funciona el primero. Estados Unidos incluso ha amenazado con sanciones por el robo de propiedad intelectual que involucra modelos estadounidenses.
Pero Amodei ve el mundo de otra manera.
El miedo específico detrás del impulso de seguridad de Anthropic
Amodei traza una línea dura en la arena. Los modelos de peso abierto sin capacidades peligrosas son bienes públicos. Son baratos. Los desarrolladores los utilizan. Las empresas los utilizan. Esa parte está bien.
El problema no es el código. Es la intención.
Le preocupa que los gobiernos autoritarios construyan modelos que sean más fuertes que cualquier cosa que Estados Unidos pueda crear. Superioridad militar permanente. O control total sobre su propia gente.
Nombró nombres. El Partido Comunista Chino no es el único. Es simplemente el “más capaz”.
También planteó un escenario más oscuro. Ataques biológicos.
En su opinión, los modelos de peso abierto facilitan esta tarea. No se pueden poner barandillas a algo una vez que está ahí fuera. No puedes monitorearlo. Un informe del Instituto de Seguridad de IA del Reino Unido lo confirma: una vez que se liberan los pesos abiertos, no se pueden retirar.
Los defensores del código abierto argumentan lo contrario. Dicen que el acceso ayuda a los defensores. Dicen que es necesario conocer las herramientas del enemigo para luchar contra él. Amodei no está convencido.
Lo que Anthropic realmente quiere que se haga en su lugar
Amodei no se limitó a quejarse. Enumeró acciones. Los reales.
Primero, siga restringiendo el acceso a chips potentes. Estados Unidos ha hecho esto por un tiempo. Tiene sentido.
En segundo lugar, tomar medidas enérgicas contra la destilación. Represión formal. Detener el desvío de propiedad intelectual.
Pero la gran idea son las pruebas globales.
Amodei apoya una organización modelo de pruebas de seguridad. Lo quiere global. Incluyendo a China. Incluso si eso suena imposible.
Citó las recientes medidas de la administración Trump en esta dirección. También mencionó propuestas de la industria que aplican pruebas a los modelos más capaces. Abierto o cerrado. Sin excepciones.
¿Modelos menos capaces? ¿Nuevas empresas? ¿Academia? Estos están completamente exentos.
“Creo que esta idea está realmente cerca de un… consenso… la cooperación limitada en torno a la prevención de armas biológicas de IA puede ser del interés de China”.
Esa es una frase extraña. “Cooperación limitada” con el PCC en materia de armas biológicas. Pero él cree que es posible. ¿Por qué? Porque incluso los regímenes autoritarios quieren sobrevivir. Y los modelos de peso abierto les dificultan la supervivencia si todos los demás tienen mejores escudos.
El matiz que la mayoría de la gente pasa por alto
La narrativa en este momento es simple. Silicon Valley contra China. Control corporativo versus acceso abierto.
La posición de Amodei es más complicada.
No es un peso anti-abierto. Es una capacidad peligrosa anti-incontrolada.
Si el modelo es tonto, déjalo volar. Que todos lo usen. Deje que los desarrolladores se basen en ello. Ese es un bien público.
Pero si el modelo es lo suficientemente inteligente como para ayudar a diseñar un nuevo patógeno o superar las defensas militares, las reglas cambian. Entonces necesitas estándares globales. Necesitas que todos estén a bordo.
¿Confía en que China jugará limpio? No. Pero confía más en su propio interés.
No quieren que su población sea atacada con armas nucleares por una IA rebelde. No quieren que un Estado rival se apodere de su red eléctrica.
Entonces, tal vez se sometan a pruebas. Quizás lo hagan.
Es una esperanza frágil. Pero es mejor que prohibirlo todo y esperar lo mejor.
El debate continúa. Los modelos se hacen más grandes. Las preguntas se vuelven más difíciles. Y la línea entre el bien público y el peligro público sigue desdibujándose.
