En una partida d’escacs, quan ja s’ha acabat la fase de l’obertura i ja han succeït les èpiques batalles estratègiques-posicionals per guanyar petits avantatges, arriba el moment d’atacar i buscar el mat. Gairebé sempre hi ha més d’un camí per arribar-hi i no tots són igualment vàlids. Alguns són llargs i poden arribar a deixar contrajoc al rival, altres demanen una precisió de càlcul de la qual no tothom disposa, algun es basa en un sacrifici que has de saber veure amb cinc jugades d’antelació i, de tant en tant, n’hi ha un de curt i net que dona la partida per acabada ràpidament. Als jugadors experimentats se’ls suposa la capacitat d’identificar tots aquests camins i de triar el més adient.
Merim Bilalić, Peter McLeod i Fernand Gobet van publicar el 2008 un experiment per estudiar com raonen els experts davant una posició com aquesta. Els investigadors havien preparat una posició amb dues sortides. La primera era el mat de la coça o del rei ofegat, el patró en què el rei enemic queda tancat entre les seves pròpies peces i el cavall, en pocs moviments, pot rematar-lo. Qualsevol jugador experimentat reconeix aquest patró de mat de seguida. En la posició de l’experiment es podia executar en tot just cinc moviments. La segona sortida era un mat en tres que gairebé ningú no va ser capaç de veure. Quan els investigadors van modificar la posició per treure’n la possibilitat del mat de la coça, els mateixos jugadors experimentats que abans no veien el mat en tres el van trobar a la primera.
El més curiós és que els investigadors van adonar-se que, mentre que els jugadors deien en veu alta que estaven buscant una alternativa millor al mat de la coça, els ulls se’ls quedaven clavats a les mateixes caselles de sempre. L’equip ho descriu així en un article posterior, que ampliava l’experiment amb un seguiment ocular, «els experts en escacs continuaven mirant les caselles associades amb la solució familiar, encara que deien que estaven buscant solucions alternatives».
L’efecte Einstellung és el que documenta aquest experiment. La psicologia el té descrit des dels anys quaranta. Haver trobat una solució que funciona bloqueja la capacitat de trobar-ne una de millor. Un bloqueig que actua sense que ens n’adonem.
El que passa quan la primera solució te la dona una màquina
La creixent implantació i ús de la intel·ligència artificial està reproduint l’efecte Einstellung a escales industrials. La investigadora Ujué Agudo, psicòloga i doctora per la Universitat de Deusto, ho ha compilat sota el nom de principi de primacia. Segons aquest principi, veure la proposta d’una IA abans de formar-te un judici propi ancora el teu pensament cap a aquella proposta, encara que sigui errònia o incompleta, o que no s’adeqüi al teu criteri.
Agudo va dirigir un experiment amb Karlos G. Liberal, Miren Arrese i Helena Matute on els participants llegien les declaracions de diversos testimonis sobre un cas judicial i havien de dir si l’acusat era culpable o innocent. Tots comptaven amb el suport d’un sistema d’IA que els deia què en pensava, si l’acusat era culpable o innocent. El sistema estava programat per equivocar-se expressament en una part dels casos. L’única cosa que canviava d’un grup a l’altre era el moment en què donava la seva recomanació. Uns la veien un cop ja havien emès el seu judici i els altres, abans de pensar-hi. Comptant només aquells casos en què la recomanació era errònia, els que havien jutjat abans de llegir-la encertaven el 66,2% i els que la van llegir primer baixaven al 36,8% (Cognitive Research: Principles and Implications, 2024).
No és, però, només un efecte humà; els grans models de llenguatge col·laboren en aquest ancoratge. Només cal que li demanis a un model alguna cosa molt genèrica, sense definir bé què vols, i et generarà una solució sencera, decidint per ell mateix què volies dir, en comptes de preguntar-te per entendre millor les teves intencions. Agudo ho atribueix a la manera com s’entrenen. Les persones contractades per puntuar respostes en comparen dues. La que resol tot el problema de cop s’endú, evidentment, la millor nota. La que respon amb una pregunta per aclarir què li estaves demanant s’endú la pitjor. El model aprèn d’aquesta puntuació. O sigui que la IA està optimitzada per donar-te una primera solució com més aviat millor, que és exactament el que provocava que els jugadors d’escacs es quedessin clavats mirant les caselles del mat de la coça.
Antecedents en les polítiques públiques
El sistema VioGén, que la policia espanyola fa servir per valorar el risc de les víctimes de violència masclista, calcula automàticament una puntuació de risc de cada cas denunciat, la presenta a l’agent i li demana que la validi o la modifiqui. L’auditoria externa que va fer la Fundació Eticas el març del 2022, dirigida per la investigadora Gemma Galdón Clavell, va trobar que «en el 95% dels casos, els agents mantenen la puntuació de risc assignada automàticament». L’informe hi afegeix que durant la pandèmia, amb més càrrega de feina, la xifra va pujar encara més.
Curiosament, aquest disseny és igual que el que vam descriure fa cinc anys a ciberpoder.net parlant del COMPAS, l’algorisme de reincidència dels tribunals nord-americans, a l’article Poden els androides ser racistes? de José A. Vicente Gómez. El jutge veu el resultat i, només aleshores, dictamina la seva sentència. En aquell moment posàvem sobre la taula l’opacitat del càlcul, perquè la fórmula pertany a l’empresa que ven el programa i no es publica enlloc, de manera que ningú de fora no pot comprovar com s’ha arribat a aquella puntuació. La recerca d’Agudo assenyala un problema anterior a l’opacitat. I és que, encara que la fórmula fos pública i impecable, quan el jutge comença a formar-se la seva opinió sobre l’acusat ja fa estona que té la puntuació de risc davant dels ulls.
La garantia que hem demanat està col·locada al pitjor moment
L’article 22 del Reglament general de protecció de dades reconeix el dret a la intervenció humana davant d’una decisió automatitzada. L’article 14 del Reglament europeu d’intel·ligència artificial exigeix que els sistemes d’alt risc permetin una supervisió humana efectiva, amb la capacitat de «decidir, en qualsevol situació concreta, no fer servir el sistema d’IA d’alt risc o bé descartar-ne, anul·lar-ne o revertir-ne la sortida». Ara bé, cap dels dos especifica en quin moment s’ha de donar aquesta intervenció.
Paradoxalment, l’article 14 demana que la persona que supervisa «continuï sent conscient de la possible tendència a confiar automàticament o en excés en la sortida produïda per un sistema d’IA d’alt risc (biaix d’automatització)», és a dir, reconeix obertament el problema que exposen les investigacions citades. El remei que la llei prescriu contra el biaix és que la persona en sigui conscient. Els jugadors d’escacs de Bilalić eren perfectament conscients que estaven buscant una alternativa millor. Tot i això, els ulls no se’ls van moure de lloc.
Per donar una solució garantista, Agudo proposa friccions, dispositius de disseny que obliguen la màquina a preguntar i a oferir opcions abans de proposar una resolució definitiva. Les eines les té publicades. Són decisions que pren cadascú davant de la seva pantalla, o com a molt l’equip que dissenya el producte. La llei, en canvi, continua acontentant-se amb exigir que hi hagi una persona revisant la decisió, sense dir-li en quin moment ha de mirar la pantalla. I qui s’hi juga alguna cosa és la dona que denuncia i espera que un agent valori el risc que corre, o l’acusat que espera sentència.
