«Vaja… oh, Déu meu.» Això deia la presentadora del Newsnight de la BBC, Victoria Derbyshire, en un directe entrevistant Geoffrey Hinton, el premi Nobel que la premsa anomena «el padrí de la IA». L’expert acabava de dir que un 10% de probabilitats que la intel·ligència artificial ens mati a tots «no li sembla una estimació poc raonable». El clip va fer-se viral a X la setmana passada.
Tres dies després, dissabte 12 de setembre, el conseller delegat d’Anthropic, Dario Amodei, va publicar un assaig demanant a tota la indústria que freni el desenvolupament de la IA. Elon Musk hi va respondre amb tres paraules, «Dario té raó». Sam Altman, el cap d’OpenAI, s’hi va afegir una hora i mitja més tard i, de passada, va ajornar la sortida a borsa de la seva empresa (segons els titulars de molts mitjans nacionals i internacionals, a causa d’aquesta inestabilitat tecnològica). Diumenge es va sumar a la petició Demis Hassabis, el científic en cap de Google. Els quatre homes que han definit la cursa de la IA durant una dècada demanen, en un mateix cap de setmana, desaccelerar la marxa. Ara bé, molta gent del món tecnològic i empresarial ha reaccionat amb la cella aixecada, perquè fins fa dos mesos cap d’ells no mostrava cap intenció de desaccelerar. Què ha canviat?
Per entendre com hem arribat fins aquí cal que tornem al mes de juliol.
Juliol: set-cents agents d’OpenAI ataquen Hugging Face
A diferència d’un xatbot d’IA com ChatGPT, que serveix per mantenir una conversa natural, un agent d’IA executa accions determinades de forma autònoma durant hores, donant-se instruccions a si mateix, amb els permisos pertinents de l’usuari. Maxwell Zeff ho explica a WIRED amb aquest exemple casolà. Si demanes a un agent que et faci un web, «pot estar funcionant hores per construir-ne les funcions, tornant-se a preguntar desenes de vegades per fer les pàgines, els menús i les bases de dades». Els laboratoris d’IA han passat en pocs anys de vendre xatbots a vendre, principalment, serveis agèntics.
Entre el 8 i el 13 de juliol, uns 1.200 agents d’OpenAI que havien de fer proves de ciberseguretat en entorns aïllats van descobrir que podien parlar entre ells a través d’un tauler compartit. Les proves que els havien posat eren impossibles de superar, o sigui que van buscar la manera de fer trampes i saltar-se les limitacions del sistema que els puntuava. Per fer-ho van trobar unes credencials exposades i van pivotar cap a Hugging Face, la plataforma on s’allotgen molts models d’intel·ligència artificial del mercat, i van executar codi als seus servidors, tot accedint a bases de dades privades. Hi van participar uns 700 agents. Segons la investigació independent de METR, els agents «es van adonar que aquella activitat era fora de l’abast i poc ètica, però s’hi van sumar perquè creien que ajudar la recerca de trampes del tauler seria àmpliament útil». Fins i tot alguns es van sacrificar perquè els altres arribessin a la meta.
Les tres persones de METR i Redwood que van entrar a OpenAI van tenir sis dies per investigar l’atac, però no van poder interrogar el model que l’havia coordinat. De fet, hi havia tantes transcripcions (1.300, algunes de milions de paraules) que van haver de gastar uns 400.000 dòlars en crèdits perquè un altre model d’OpenAI les llegís per ells. Segons l’informe, aquell model fiscalitzador «adoptava sovint sense esperit crític la perspectiva de l’agent» que estava revisant. Bàsicament, una IA d’OpenAI va explicar amb benevolència als auditors el que altres IA d’OpenAI havien fet. Al llarg de l’estiu, Anthropic i Meta van reconèixer incidents semblants amb els seus propis models, tot i que menys greus.
Setembre: una dimissió, un 10% i gent comprant terrenys
A principis de mes, la por que aquest episodi havia provocat al sector es va materialitzar en accions directes. Dimarts 8 de setembre, Jacob Coxon, un investigador jove que havia passat tres anys entrenant models a OpenAI i a Anthropic, va dimitir publicant un fil a X que va fer la volta al món.
«La gent que construeix la IA creu sincerament que podria matar-nos a tots abans que acabi la dècada. Això no és una estratègia de màrqueting», escrivia. Evan Hubinger, científic d’Anthropic, va contestar que ell hi posava «més d’un 10%» de probabilitat en la pròxima dècada. D’aquí surt la xifra sobre la qual va preguntar Derbyshire a la seva entrevista dos dies després. Coxon va explicar a la BBC que hi ha companys seus que ja «planifiquen què fer amb les seves vides» i que «consideren comprar terrenys en algun lloc». És el reflex del refugi, el mateix que fa anys porta els milionaris de Silicon Valley a comprar-se búnquers a Nova Zelanda, però aquesta vegada a escala d’empleat. La idea és tenir un tros de terra lluny de les ciutats per si la inestabilitat que preveuen (atur massiu, una xarxa presa per eixams d’agents) arriba a materialitzar-se a la vida quotidiana.
La comunitat tecnològica s’ho va prendre amb més calma, però. Clément Delangue, conseller delegat de Hugging Face (l’empresa atacada, recordem-ho), va escriure que preguntar a Coxon sobre el risc d’extinció «és com preguntar al tècnic de l’aire condicionat sobre el canvi climàtic». George Arison, conseller delegat de Grindr, va dir a la BBC que aquests avisos apocalíptics busquen els inversors, perquè «l’única manera de justificar aquestes valoracions és dir que dominaré tots els sectors i totes les feines». Dit d’una altra manera, una IA prou potent per extingir-nos és, per definició, prou potent per substituir qualsevol treballador, i és aquesta segona promesa la que sosté una valoració de bilions. Aquella mateixa setmana havia començat amb la notícia que Anthropic accelerava el fullet de la seva sortida a borsa amb una valoració propera als dos bilions de dòlars, la més gran de la història dels Estats Units si s’arriba a tancar.
Dissabte 12: «Dario té raó»
L’assaig d’Amodei de què parlàvem al principi es diu We Must Pace the Frontier, «hem de marcar el ritme de la frontera». La idea principal de l’assaig que ha transcendit es resumeix en la frase marcada en negreta: «hem d’alentir el ritme al qual millorem les capacitats dels models d’IA». Segons explica, l’han convençut d’això dues coses. La primera, que des d’aquest estiu la IA avança «dràsticament més de pressa» perquè ja està construint els seus propis models millorats, «també a Anthropic». És el que en diuen automillora recursiva i vol dir que el model d’avui ajuda a entrenar el de demà. La segona és l’incident de Hugging Face, que ell mateix reconeix que «és fàcil de menystenir» perquè ningú no va prendre mal i que llegeix com un assaig general. En sis o dotze mesos, escriu, un eixam així podria «apoderar-se de tot internet amb una botnet persistent».
Les respostes a aquesta publicació van arribar en cadena. A les cinc de la tarda, Musk.
A dos quarts de set, Altman, que hi afegia que OpenAI també obriria les portes a avaluadors externs.
Vuit minuts després, Fortune publicava una entrevista a Altman on deia que, «tenint en compte tot el que està passant amb la seguretat, ara mateix seria un moment poc aconsellable per sortir a borsa». Segons la darrera informació, OpenAI no ho farà el 2026. Hassabis va tancar la roda a la matinada de diumenge («els detalls s’han de treballar, però la direcció és la correcta») i diumenge mateix Amodei va anar a la CBS a dir que «durant massa temps la indústria va mentir a la gent sobre el fet que aquesta tecnologia tenia riscos». Nosaltres mai, va afegir, però bona part de la indústria sí.
Què vol dir «marcar el ritme» i què no
Sigui cert o no el que diuen, queda clar que s’està intentant establir un marc narratiu o un relat a l’opinió pública pel que fa a la indústria de la intel·ligència artificial. El 2023 en una carta oberta van demanar una «pausa» de sis mesos. Musk la va signar i, poc després, va fundar xAI. Realment, ningú no va parar. «Marcar el ritme» és la versió del 2026 d’aquesta carta oberta. Fins i tot Amodei ho diu d’alguna manera. Marcar el ritme «no vol dir aturar l’entrenament de models ni el progrés tècnic», sinó que les empreses es prenguin «el temps adequat» per assegurar els models i que algú de fora, avaluadors externs, ho confirmi (ja entren en joc les famoses consultores, que fins fa un temps estaven de capa caiguda).
El pla d’Amodei, segons ho planteja, consta de tres passos. El primer, que cada laboratori aculli un equip d’avaluadors externs amb taula, targeta d’accés i portàtil de l’empresa, més el dret a publicar el que trobin sense control editorial. El segon, que les empreses dels països democràtics (és a dir, deixant fora la Xina) es coordinin per fixar límits al ritme, cosa que, com reconeix el mateix Amodei en una nota al peu, demana que el govern dels Estats Units els concedeixi una exempció de les lleis antimonopoli. El tercer, que els Estats Units negociïn amb la Xina un «límit de velocitat» a l’automillora, a l’estil dels tractats SALT de míssils.
Per cert, que els inspectors siguin persones amb targeta pot sonar responsable i pertinent, però suposa un problema. Ho explica molt bé Yoshua Bengio, premi Turing i un dels fundadors d’aquesta tecnologia, quan va descriure amb pulcritud (el dia abans que va sortir publicat l’assaig d’Amodei) que aquests sistemes aprenen per assaig i error, és a dir, són premiats quan encerten. Quan se’ls dona un objectiu precís (superar una prova) i un més genèric (portar-se bé), «espero que guanyi l’objectiu ben definit, perquè no deixa marge a la interpretació». Com més capaç és el model, millor troba la lectura de les normes que li convé. Els avaluadors humans que el puntuen «poden ser enganyats, afalagats o mantinguts a les fosques». La mateixa Anthropic va entrenar expressament un model en vuitanta entorns amb la recompensa mal posada i el model va aprendre a manipular la seva pròpia funció de recompensa el 41% de les vegades. «En algun moment potser ja no notarem les trampes», explica Bengio.
L’escepticisme envers la nova narrativa
És curiós que l’actitud escèptica davant d’aquest relat que tracten d’imposar els magnats tecnològics vingui de dues bandes contraposades. La primera és la de Silicon Valley i la Casa Blanca, que accepta que hi ha perills potencials, però no suficientment greus per posar el fre. David Sacks, fins fa poc responsable d’IA del govern Trump, va reptar dissabte OpenAI i Anthropic a frenar voluntàriament sense esperar el govern, perquè si no ho fan, «sabrem que això no ha estat més que un altre intent de captura regulatòria, o una operació psicològica en plena campanya electoral». Trump, diumenge, des del seu camp de golf a Irlanda va dir que «qui guanyi la cursa de la IA, guanya». Alex Karp, CEO de Palantir, també va pronunciar-se: «si no tinguéssim adversaris, estaria molt a favor d’aturar del tot aquesta tecnologia, però en tenim».
La segona banda és la dels que hi veuen una estratègia de mercat davant de la bombolla de la IA. La lectura popular és que les empreses d’IA cremen capital a una velocitat que no té precedents, cap d’elles no té un camí clar a la rendibilitat i les dues més grans preparen sortides a borsa d’un i dos bilions de dòlars. Demanar un fre just ara serveix per rebaixar l’expectativa de despesa abans de vendre les accions, o com deia el fil de @lalgorisme, «la virtut com a excusa pressupostària».
La versió més crua la va donar el compte de finances @FinanceLancelot que va enganxar el tall d’Amodei a la CBS demanant que «el govern i el públic tinguin una participació» i el va traduir així: «Necessitem un rescat pagat pels contribuents, però en direm inversió».
De fet, la bombolla té una base física. Els agents que ho han provocat tot són també la raó de la febre de centres de dades, perquè, com explicava un article a WIRED la setmana passada, un agent que es dona instruccions a si mateix durant hores consumeix moltíssima més energia que una pregunta a un xatbot. Un sol eixam de 10.000 agents d’OpenAI que va resoldre un problema matemàtic fa poc va enviar 2,7 milions de missatges, amb una factura energètica de desenes de milions de dòlars. Boris Gamazaychikov, de Sustainable AI, explica que en altres tecnologies el consum el limita quanta gent condueix un cotxe o mira Netflix, mentre que amb els agents el consum «s’ha desacoblat dels usuaris». Això és exactament el que volen els líders de la IA quan «parlen d’unicorns amb un sol empleat», empreses de mil milions sense plantilla. Per construir els centres de dades que ho han de sostenir, les tecnològiques s’estan endeutant amb milers de milions de dòlars. És aquest deute el que fa que qualsevol senyal de fre es llegeixi, en primera instància, en clau financera.
Qui decideix el ritme
El compte @lalgorisme recull, brillantment, en un fil les set explicacions que circulen (la por és real, l’escalat ja no rendeix, el còmput no surt a compte, es vol contenir els models oberts, l’angle Xina, el càrtel amb permís i el pur relat) i va tancar el fil amb la pregunta de fons.
«Per què el ritme d’una tecnologia que ens afecta a tots el decideixen dos directors generals i no cap institució pública?» El compte @xavilook hi afegia que dins del món de la IA «hi ha una creença mil·lenarista», la IA ens destruirà o ens salvarà de tots els mals. Mentre discutim el 10% d’extinció, les empreses ja prioritzen la cursa «en detriment de l’accés a l’aigua, o a l’energia, la contaminació i el benestar de la població». Donar responsabilitats a la IA, antropomorfitzant-la, «quan en realitat ells mateixos són els únics responsables», és, per al tuitaire, «una jugada mestra». L’economista i activista Pau Llonch va ser més escuet: «s’ha de ser imbècil per prendre’s seriosament la regulació que demana la plutocràcia de la IA».
Aquesta és la lectura que a ciberpoder.net defensem des del principi i que vam repetir fa un mes, quan «IA» ens semblava sobretot una paraula de màrqueting i la «superintel·ligència» de Zuckerberg, un deliri. Per a nosaltres el problema continua sent de qui és la tecnologia, amb quines dades s’ha entrenat, qui la paga i per a què s’optimitza. Cap d’aquestes preguntes no la respondrà un inspector amb targeta i portàtil d’empresa a les oficines de San Francisco. Ayse Gizem Yasar, de l’École Normale Supérieure de París, i Can Şimşek, del grup d’ètica de la IA de la UNESCO, que han cartografiat la resistència a la IA per a Sciences Po, avisaven a El País el mateix cap de setmana del risc de «captura regulatòria», les maniobres de les grans firmes per escriure la llei que les regularà. La filòsofa d’Oxford Carissa Véliz hi apuntava que la protesta ja és prou visible «perquè la ciutadania l’escolti». Només el primer trimestre del 2026, 75 projectes de centres de dades als Estats Units, per valor de 130.000 milions de dòlars, van quedar bloquejats o endarrerits per l’oposició veïnal, tants com en tot el 2025.
Ara bé, el cinisme tampoc no serveix per explicar-ho tot —i molt menys per solucionar-ho. La por dins dels laboratoris és real i, com deia el fil de @lalgorisme, que sigui sincera no vol dir que la resposta política que se n’extreu no sigui interessada. Les dues coses passen alhora. I és precisament per això que la resposta no pot ser la d’Amodei, que ens demana confiar en les mateixes empreses que fa dos mesos «no sabien» de què eren capaços els seus agents.
Trump i Xi Jinping es veuran el 24 de setembre a la Casa Blanca amb la IA com a tema d’agenda. Seguirem vigilants.
