És una tarda d’estiu a una carretera comarcal de Califòrnia. No hi ha ningú en la carretera: o són a la platja, o treballant. Dos homes condueixen un cotxe, un Toyota. Aparquen en una gasolinera, saluden al dependent i van a la secció de menjar. Un d’ells es posa un passamuntanyes; el dependent sap el que ocorrerà. Els homes criden mans a dalt, i demanen que obri la caixa. Ell ho fa, els dóna tot el que té i ells abandonen el lloc del crim. Amb 500 dòlars més a les seves mans, els atracadors escapen 20 quilòmetres al nord.
No obstant això, són arrestats poc després. Porten tot l’estiu atracant gasolineres. Són empresonats i esperen a judici. Passen setmanes i els nostres atracadors van finalment a judici. No ens ficarem en processos judicials. Simplement, sabem que són condemnats i que al jutge se li presenten els resultats del COMPAS, un DSS (decision support system) amb l’objectiu de predir la possibilitat de reincidència (i amb això agreujar la pena) d’un condemnat. Segueix una fórmula matemàtica:
S=(a-w)+(f-w)+(vw)+(ew)+(n*w)
On a és l’edat actual, f l’edat del primer arrest, v l’historial de violència, e són problemes en el sistema educatiu, i n l’historial de no-cooperació amb la policia; w és la ponderació que cadascun d’aquests factors té sobre el resultat total S. La relació de S és negativa amb a i f (quant menor és l’edat en tots dos casos, major és el resultat) i positiva amb v, e i n (com més gran és l’historial de violència, no-cooperació i problemes d’educació, major és el resultat). Per descomptat, això és el que Northpointe (ara Equivant), la companyia privada darrere de l’algoritme d’ús públic, diu que s’usa; però no revela els càlculs ja que és un programari propietari.
Descobrim les seves identitats: Alberto i Brandon. Alberto té 19 anys i va ser arrestat per primera vegada als 13, la qual cosa li ha generat una gran desconfiança respecte a la policia. Ve d’una família pobra i mai va acabar l’institut. Brandon, per l’altre costat, va conèixer a Alberto per amics comuns, i mai ha tingut cap problema amb les forces de la llei. Té 25 anys i ha acabat una carrera de direcció d’empreses, i per a pagar els deutes de la universitat atraca gasolineres amb Alberto.
L’algoritme de COMPAS passa pels registres d’Alberto i Brandon. Alberto té menor edat i edat d’arrest i major historial de violència, no-cooperació i problemes educacionals que Brandon, amb el que el seu risc de reincidència és molt major. Per això, el jutge condemna a Alberto al doble d’anys de presó que Brandon. Estem descartant, per descomptat, que el jutge conegui la raça o classe dels atracadors (la qual cosa és un factor de discriminació), però l’algoritme de COMPAS conté ja per si mateix, en acceptar un input de dades, una discriminació. Les persones de color, o de classe més baixa, o de barris més pobres (tots trets que ara donem a conèixer d’Alberto) poden tenir major tendència a ser arrestats de joves, o a desconfiar de la policia, o a participar en crims a una menor edat, o a no acabar l’educació secundària. El futur és decidit pel passat.
Estem parlant d’un cas binari, d’una persona que té pitjors resultats en tots els indicadors. Però i si usem indicadors diferents? Propublica dóna un cas il·lustratiu: Vernon Prater, un home de 41 anys que comet el seu primer crim als 33, però que en aquests curts 8 anys comet dos robatoris armats i un intent de robatori; i Brisha Brodin, qui amb 18 anys té cuatros delictes menors juvenils. Brodin va ser qualificada com un risc de reincidència D8 (molt alt) i Prater amb un D3 (baix). Dos anys després, Prater havia robat aparells d’un magatzem per valor de milers de dòlars, però Brodin no havia reincidit. L’algoritme s’equivocava.
L’objectiu de COMPAS (com qualsevol altre algoritme, en teoria) és el de ser cec, no considerar un prejudici com podria fer una persona classista o racista; però, primer, s’oblida que les dades que rep no ve d’altres algoritmes sense inclinació, sinó de persones amb prejudicis com els policies que van detenir a Alberto amb només 13 anys; i segon, no considera que l’elecció d’aquests indicadors són precisament triats per una raó en concret (per exemple, per què triar l’educació o la no-cooperació, però no la possessió d’armes?).
Els algoritmes, com la justícia, poden i han d’aspirar a ser cecs i imparcials, però no ho són. Reforcem l’opinió que vam donar en la primera part: la tecnologia no té consciència, només la dels seus creadors. I ens podem aventurar a dir que, en un país on la creació i manteniment de presons és un negoci, i la grandària del qual ha crescut un 14% en 12 anys, un algoritme pot ser usat per a empresonar a cada vegada més persones i per això empresonar a una proporció major de persones de classe baixa o de color. Els estats federals adopten l’algoritme de COMPAS sense conèixer si funciona o no, i si funciona, quin és el seu objectiu? En un tema tan espinós com el de passar anys privat de llibertat per la decisió d’un algoritme que no és ni cec ni imparcial, com ha d’actuar la justícia, i com hem de repensar l’algoritme?
Altres casos de serveis digitals moguts per algoritmes i racisme: Google Maps, Google Fotos, Twitter, Facebook. Qualsevol algoritme té uns prejudicis continguts en ell, que ve del seu creador i de com configura l’algoritme. Exemple perfecte d’això: una pàgina web de noms en francès que, per defecte, marca com ‘evitar’ els noms en àrab. En efecte, un algoritme pot ser racista si no pensem en el factor del racisme en crear-lo. Si el creador no considera uns certs factors com la classe, el gènere o l’ètnia al crear un algoritme, reflectirà i reproduirà les posicions hegemòniques.
Intentem posar un final a aquesta (brevíssima) introducció a l’ètica algorítmica. Els problemes ètic-polítics descansen sobre dos eixos: la privacitat i transparència respecte a les dades usades pels algoritmes i les conseqüències dels processos dels algoritmes; problemes d’inputs i problemes d’outputs. El problema resideix en què el segon tipus és més fàcil d’atallar, perquè és col·lectiu, de moltes persones (tots aquells que es veuen discriminats per un algoritme) que juntes poden unir-se enfront d’un problema tangible; però si no s’atalla el primer, remeiar el segon serà tallar la mala herba sense arrencar-la d’arrel: tard o d’hora tornarà a aparèixer, en formes diferents. Si Northpointe no fa públic el seu algoritme de prevenció de reincidència, podrem protestar, però el problema tornarà a aparèixer tard o d’hora.
No obstant això, el primer tipus és molt més complicat de veure. Quina empresa està sent transparent, i quina opaca? Quina empresa menteix sobre els seus algoritmes, i quina no? Quines dades embeni als governs d’amagat, i quines són simplement oferides per a la publicitat? No sabem en qui confiar, però hem de confiar en algú, creure en què l’empresa que triem pot ser que usi les nostres dades, però que ho farà menys que una altra empresa qualsevol. Com explicava Arendt (i aquí no em demoraré), viure sense uns prejudicis ens faria la vida impossible, perquè hauríem de tenir uns sentits sobrehumans, vigilar cada pas que donéssim. En el seu lloc, confiem en els prejudicis, els judicis congelats. Què diferència a TikTok d’Instagram, tret que una plataforma embeni les nostres dades a la Xina i una altra al món occidental? O a Microsoft d’Huawei? Només perquè una companyia sigui occidental hem de confiar més en ella? L’hacktivisme té aquí un paper clau en tenir la capacitat de poder donar respostes enfront d’això, de descobrir qui menteix i qui no. Tanmateix, trobar a un culpable continua sent complicat, ja no sols per triar davant qui ens queixem sinó pel fet de queixar-se en si, perquè ens enfrontem a companyies multinacionals i bilionàries amb els millors advocats del món a la seva disposició. Per això, devem (per una vegada) confiar que el parlamentarisme legisli sobre la nostra privacitat i la transparència de les empreses en un món digital gairebé sense explorar, on les fronteres són encara molt difuses; és el moment que sorgeixi un Leviatan digital que posi no unes fronteres sinó uns murs que protegeixin els usuaris de les empreses.
Una altra manera d’atallar aquests problemes és la posada en marxa de projectes que intentin repensar l’ètica algorítmica per a acostar-la als valors del progrés i la democràcia. El Future of Life Institute proposa 13 principis a seguir per l’ètica algorítmica en termes de valors: seguretat, transparència de funcionament, transparència judicial, responsabilitat, alineació de valors, valors humans, privacitat personal, llibertat i privacitat, benefici compartit, prosperitat compartida, control humà, no-subversió i la prevenció d’una cursa armamentista d’IAs.
També podem anar pel camí dels projectes open source, amb l’objectiu final de crear una internet pública, gratuït i transparent. L’open source destaca pel fet que el seu codi ha de ser públic i d’això es deriva que és transparent, per la qual cosa tots podem conèixer els seus algoritmes, i els seus creadors han de donar compte d’això.
En conclusió, hem vist que els algoritmes tenen un pes cada vegada major en les nostres vides. Aquest fet, el de delegar molts processos de les nostres vides, és beneficiós en tant que ens lleva una càrrega de treball, però hem de ser cautelosos i tenir precaució. Aquí és on entra l’ètica algorítmica, la reflexió sobre la implantació dels algoritmes i tot el que hi ha darrere d’això: la privacitat tant de l’empresa com de l’usuari, la transparència de les companyies, l’ètica dels creadors dels algoritmes, els valors que han de guiar-los i els ideals als quals han d’aspirar. Les respostes als problemes actuals passen tant per l’examen als pilars dels algoritmes, a través de principis i propostes de recerca en la filosofia, el dret, l’economia, la política i la tecnologia, i la seva posterior restauració o demolició a través de la política pública i legislació.
No podem donar moltes més respostes sense construir majors fonaments, com no podem construir més teulada si no tenim més sòl. Aquests dos articles, d’unes 2000 paraules cadascun, al final se’ns han quedat curts per a explicar un tema tan ampli i poc explorat com l’ètica algorítmica, però esperem que hagin servit prou bé com una introducció superficial, meitat teòrica meitat aplicada, al qual serà un dels temes candents d’aquesta dècada.
