Autor: José A. Vicente Gómez

És una tarda d’estiu a una carretera comarcal de Califòrnia. No hi ha ningú en la carretera: o són a la platja, o treballant. Dos homes condueixen un cotxe, un Toyota. Aparquen en una gasolinera, saluden al dependent i van a la secció de menjar. Un d’ells es posa un passamuntanyes; el dependent sap el que ocorrerà. Els homes criden mans a dalt, i demanen que obri la caixa. Ell ho fa, els dóna tot el que té i ells abandonen el lloc del crim. Amb 500 dòlars més a les seves mans, els atracadors escapen 20 quilòmetres al nord.

No obstant això, són arrestats poc després. Porten tot l’estiu atracant gasolineres. Són empresonats i esperen a judici. Passen setmanes i els nostres atracadors van finalment a judici. No ens ficarem en processos judicials. Simplement, sabem que són condemnats i que al jutge se li presenten els resultats del COMPAS, un DSS (decision support system) amb l’objectiu de predir la possibilitat de reincidència (i amb això agreujar la pena) d’un condemnat. Segueix una fórmula matemàtica:

S=(a-w)+(f-w)+(vw)+(ew)+(n*w)

On a és l’edat actual, f l’edat del primer arrest, v l’historial de violència, e són problemes en el sistema educatiu, i n l’historial de no-cooperació amb la policia; w és la ponderació que cadascun d’aquests factors té sobre el resultat total S. La relació de S és negativa amb a i f (quant menor és l’edat en tots dos casos, major és el resultat) i positiva amb v, e i n (com més gran és l’historial de violència, no-cooperació i problemes d’educació, major és el resultat). Per descomptat, això és el que Northpointe (ara Equivant), la companyia privada darrere de l’algoritme d’ús públic, diu que s’usa; però no revela els càlculs ja que és un programari propietari.

Descobrim les seves identitats: Alberto i Brandon. Alberto té 19 anys i va ser arrestat per primera vegada als 13, la qual cosa li ha generat una gran desconfiança respecte a la policia. Ve d’una família pobra i mai va acabar l’institut. Brandon, per l’altre costat, va conèixer a Alberto per amics comuns, i mai ha tingut cap problema amb les forces de la llei. Té 25 anys i ha acabat una carrera de direcció d’empreses, i per a pagar els deutes de la universitat atraca gasolineres amb Alberto.

L’algoritme de COMPAS passa pels registres d’Alberto i Brandon. Alberto té menor edat i edat d’arrest i major historial de violència, no-cooperació i problemes educacionals que Brandon, amb el que el seu risc de reincidència és molt major. Per això, el jutge condemna a Alberto al doble d’anys de presó que Brandon. Estem descartant, per descomptat, que el jutge conegui la raça o classe dels atracadors (la qual cosa és un factor de discriminació), però l’algoritme de COMPAS conté ja per si mateix, en acceptar un input de dades, una discriminació. Les persones de color, o de classe més baixa, o de barris més pobres (tots trets que ara donem a conèixer d’Alberto) poden tenir major tendència a ser arrestats de joves, o a desconfiar de la policia, o a participar en crims a una menor edat, o a no acabar l’educació secundària. El futur és decidit pel passat.

Estem parlant d’un cas binari, d’una persona que té pitjors resultats en tots els indicadors. Però i si usem indicadors diferents? Propublica dóna un cas il·lustratiu: Vernon Prater, un home de 41 anys que comet el seu primer crim als 33, però que en aquests curts 8 anys comet dos robatoris armats i un intent de robatori; i Brisha Brodin, qui amb 18 anys té cuatros delictes menors juvenils. Brodin va ser qualificada com un risc de reincidència D8 (molt alt) i Prater amb un D3 (baix). Dos anys després, Prater havia robat aparells d’un magatzem per valor de milers de dòlars, però Brodin no havia reincidit. L’algoritme s’equivocava.

L’objectiu de COMPAS (com qualsevol altre algoritme, en teoria) és el de ser cec, no considerar un prejudici com podria fer una persona classista o racista; però, primer, s’oblida que les dades que rep no ve d’altres algoritmes sense inclinació, sinó de persones amb prejudicis com els policies que van detenir a Alberto amb només 13 anys; i segon, no considera que l’elecció d’aquests indicadors són precisament triats per una raó en concret (per exemple, per què triar l’educació o la no-cooperació, però no la possessió d’armes?).

Els algoritmes, com la justícia, poden i han d’aspirar a ser cecs i imparcials, però no ho són. Reforcem l’opinió que vam donar en la primera part: la tecnologia no té consciència, només la dels seus creadors. I ens podem aventurar a dir que, en un país on la creació i manteniment de presons és un negoci, i la grandària del qual ha crescut un 14% en 12 anys, un algoritme pot ser usat per a empresonar a cada vegada més persones i per això empresonar a una proporció major de persones de classe baixa o de color. Els estats federals adopten l’algoritme de COMPAS sense conèixer si funciona o no, i si funciona, quin és el seu objectiu? En un tema tan espinós com el de passar anys privat de llibertat per la decisió d’un algoritme que no és ni cec ni imparcial, com ha d’actuar la justícia, i com hem de repensar l’algoritme?

Altres casos de serveis digitals moguts per algoritmes i racisme: Google Maps, Google Fotos, Twitter, Facebook. Qualsevol algoritme té uns prejudicis continguts en ell, que ve del seu creador i de com configura l’algoritme. Exemple perfecte d’això: una pàgina web de noms en francès que, per defecte, marca com ‘evitar’ els noms en àrab. En efecte, un algoritme pot ser racista si no pensem en el factor del racisme en crear-lo. Si el creador no considera uns certs factors com la classe, el gènere o l’ètnia al crear un algoritme, reflectirà i reproduirà les posicions hegemòniques.

Intentem posar un final a aquesta (brevíssima) introducció a l’ètica algorítmica. Els problemes ètic-polítics descansen sobre dos eixos: la privacitat i transparència respecte a les dades usades pels algoritmes i les conseqüències dels processos dels algoritmes; problemes d’inputs i problemes d’outputs. El problema resideix en què el segon tipus és més fàcil d’atallar, perquè és col·lectiu, de moltes persones (tots aquells que es veuen discriminats per un algoritme) que juntes poden unir-se enfront d’un problema tangible; però si no s’atalla el primer, remeiar el segon serà tallar la mala herba sense arrencar-la d’arrel: tard o d’hora tornarà a aparèixer, en formes diferents. Si Northpointe no fa públic el seu algoritme de prevenció de reincidència, podrem protestar, però el problema tornarà a aparèixer tard o d’hora.

No obstant això, el primer tipus és molt més complicat de veure. Quina empresa està sent transparent, i quina opaca? Quina empresa menteix sobre els seus algoritmes, i quina no? Quines dades embeni als governs d’amagat, i quines són simplement oferides per a la publicitat? No sabem en qui confiar, però hem de confiar en algú, creure en què l’empresa que triem pot ser que usi les nostres dades, però que ho farà menys que una altra empresa qualsevol. Com explicava Arendt (i aquí no em demoraré), viure sense uns prejudicis ens faria la vida impossible, perquè hauríem de tenir uns sentits sobrehumans, vigilar cada pas que donéssim. En el seu lloc, confiem en els prejudicis, els judicis congelats. Què diferència a TikTok d’Instagram, tret que una plataforma embeni les nostres dades a la Xina i una altra al món occidental? O a Microsoft d’Huawei? Només perquè una companyia sigui occidental hem de confiar més en ella? L’hacktivisme té aquí un paper clau en tenir la capacitat de poder donar respostes enfront d’això, de descobrir qui menteix i qui no. Tanmateix, trobar a un culpable continua sent complicat, ja no sols per triar davant qui ens queixem sinó pel fet de queixar-se en si, perquè ens enfrontem a companyies multinacionals i bilionàries amb els millors advocats del món a la seva disposició. Per això, devem (per una vegada) confiar que el parlamentarisme legisli sobre la nostra privacitat i la transparència de les empreses en un món digital gairebé sense explorar, on les fronteres són encara molt difuses; és el moment que sorgeixi un Leviatan digital que posi no unes fronteres sinó uns murs que protegeixin els usuaris de les empreses.

Una altra manera d’atallar aquests problemes és la posada en marxa de projectes que intentin repensar l’ètica algorítmica per a acostar-la als valors del progrés i la democràcia. El Future of Life Institute proposa 13 principis a seguir per l’ètica algorítmica en termes de valors: seguretat, transparència de funcionament, transparència judicial, responsabilitat, alineació de valors, valors humans, privacitat personal, llibertat i privacitat, benefici compartit, prosperitat compartida, control humà, no-subversió i la prevenció d’una cursa armamentista d’IAs.

També podem anar pel camí dels projectes open source, amb l’objectiu final de crear una internet pública, gratuït i transparent. L’open source destaca pel fet que el seu codi ha de ser públic i d’això es deriva que és transparent, per la qual cosa tots podem conèixer els seus algoritmes, i els seus creadors han de donar compte d’això.

En conclusió, hem vist que els algoritmes tenen un pes cada vegada major en les nostres vides. Aquest fet, el de delegar molts processos de les nostres vides, és beneficiós en tant que ens lleva una càrrega de treball, però hem de ser cautelosos i tenir precaució. Aquí és on entra l’ètica algorítmica, la reflexió sobre la implantació dels algoritmes i tot el que hi ha darrere d’això: la privacitat tant de l’empresa com de l’usuari, la transparència de les companyies, l’ètica dels creadors dels algoritmes, els valors que han de guiar-los i els ideals als quals han d’aspirar. Les respostes als problemes actuals passen tant per l’examen als pilars dels algoritmes, a través de principis i propostes de recerca en la filosofia, el dret, l’economia, la política i la tecnologia, i la seva posterior restauració o demolició a través de la política pública i legislació.

No podem donar moltes més respostes sense construir majors fonaments, com no podem construir més teulada si no tenim més sòl. Aquests dos articles, d’unes 2000 paraules cadascun, al final se’ns han quedat curts per a explicar un tema tan ampli i poc explorat com l’ètica algorítmica, però esperem que hagin servit prou bé com una introducció superficial, meitat teòrica meitat aplicada, al qual serà un dels temes candents d’aquesta dècada.

Els pitjors malsons dels liberals del segle XX són els negocis dels liberals del segle XXI: estem governats per màquines! I per govern no parlem de l’aparell polític-executiu (els ministres encara no són màquines, la qual cosa no significa que no puguin ser reptilians), sinó per pràcticament tot menys això: economia, gustos, modes, notícies, informació, art (fins i tot l’art!), esports, decisions empresarials, seguretat, transport, militarització, administració… El Gran Germà ha arribat vestit d’ovella innocent al nostre servei: les nostres cerques, likes, amics digitals, qualsevol cosa que diem en la vida real i escolta un dispositiu, tot controlat per l’algoritme! Poc queda: la màquina es menja el treball de tots sense remordiments, des del revisor del gas fins al broker de Wall Street; qualificat o sense qualificar; creatiu o manual; nord o sud global. Clar, això no té per què ser dolent: el nostre somni (almenys el meu!) és el món sense treball, on ens puguem dedicar als plaers de la vida i la felicitat mentre la màquina, la creació perfecta de la humanitat, s’encarrega del treball sense cap queixa. A més, la màquina en si sap més que nosaltres de manera individual, obrint possibilitats infinites, des de rutes amb cotxe perfectament calculades o el producte perfecte que satisfaci les nostres necessitats fins a les possibilitats d’una economia planificada cibernèticament.

Estructurem tres eixos de reflexió i crítica entorn a l’automatització de la vida: epistemològic, socioeconòmic i ètic-polític. El primer es pot resumir en una pregunta fonamental: Quant deleguem, i quant hem de delegar, de les nostres decisions i coneixement sobre un aparell que és perfectament racional, més que nosaltres? Un cas pràctic: hem de creure a l’omnipotent GPS com si fos el nostre messies, guiant el nostre camí? Sorprenentment, no: encara que els seus camins siguin inescrutables i eficients, a vegades no sempre hem de creure-li cegament, com li va ocórrer a la belga Sabine Moreau, que va conduir 1500 quilòmetres per un error d’una màquina, de Bèlgica a Croàcia.

El segon cas es desglossa més en diverses preguntes: per exemple, en un món que progressivament acaba amb el treball, com ha de plantejar-se l’ingrés i el consum? La polèmica està a l’ordre del dia: Ingrés Mínim Vital, sí o no? Altres preguntes poden ser què fer amb la contaminació de la maquinària, o com s’ha de tractar a la maquinària que reemplaça als treballadors (si no és un factor treball i no rep un salari, però en teoria supleix el seu lloc i és més productiu i menys costós, és legítim gravar més als capitalistes?).

Ens hem llevat els dos primers eixos, a fi de deixar-los reposar i potser desenvolupar-los en un altre article, per a centrar-nos exclusivament en el tercer. Una anotació: si bé l’eix epistemològic pot derivar en ètic i el socioeconòmic lògicament ha de transformar-se en polític, tractarem més de centrar-nos en la bilateralitat: l’ètica algorítmica transforma la societat, la societat ha de transformar l’ètica algorítmica, en un procés de reciprocitat constant i contínua.

Dit això: què és l’ètica algorítmica? Si bé una definició no és la suma de les seves parts, potser definir ètica i algoritme pot ser útil. Definim l’ètica com l’estudi de la moral, del que és bo, en un sentit tant descriptiu (què fem, com actuem) com a normatiu (què hem de fer, com hem d’actuar). Definim algoritme com ho fa Robin Hil, com a «un constructe matemàtic amb una estructura de control finita, abstracta i efectiva d’acció imperativa per a complir un propòsit donada una sèrie de criteris», o com el fa Aníbal Monasterio, com a «un codi programari que processa un conjunt limitat d’instruccions». Sota algoritme englobem a qualsevol procés autònom, des d’una intel·ligència artificial a un dispositiu de domòtica, una plataforma en línia, una aplicació o un pilot automàtic.

Per descomptat, ètica algorítmica no és estrictament l’ètica dels algoritmes: els algoritmes actuen, i per tant poden fer bé i malament, però no decideixen ells. No són subjectes moralment autònoms, sinó que (com hem dit) segueixen un conjunt limitat d’instruccions. La nostra capacitat, com a humans, és il·limitada: pensem l’impensable, i les nostres accions estan només limitades per la condició física. Però la dels algoritmes és limitada per nosaltres mateixos: la intel·ligència artificial (encara) no pot processar i respondre converses com ho fem nosaltres, sota opcions virtualment infinites, sinó que respon sobre la base d’unes limitacions. Un input produeix un output, sobre la base d’unes instruccions i processos; i la quantitat d’instruccions és el que limita a l’algoritme per si mateix.

Per això, els algoritmes no són subjectes moralment autònoms, sinó que estan limitats per unes instruccions. Les instruccions no són auto-dictades, com ocorre amb nosaltres (tenim la capacitat de crear sistemes morals humans, que no són donats de manera divina), sinó que les instruccions són donades pels mateixos humans. Aquesta dotació d’instruccions és la programació: escrivim un codi que dóna unes opcions limitades a una màquina, i això davant una acció humana produirà un resultat.

El que diferència a l’algoritme de la màquina simple és que l’algoritme s’autoregula: la màquina de la fàbrica ha de ser supervisada contínuament i controlada pel treballador, mentre que l’algoritme recull la informació, la processa i dóna uns resultats sense cap control del programador, i el fa infinites vegades, emmagatzemant informació de l’usuari per a predir-li i crear una imatge d’ell que tindrà unes conseqüències tant per a ell com per a uns altres.

Tot això obre diverses preguntes, però destacarem dues que intentarem respondre. Primer, què és l’ètica algorítmica i com hem de repensar-la? Segon, quines conseqüències polítiques i discriminatòries poden tenir els algoritmes, i com han de ser tractades per l’ètica algorítmica? Aquesta última pregunta serà deixada per a un segon article, mentre que la primera serà el centre de la resta d’aquest.

L’ètica algorítmica és una ètica que és, descriptivament, marcadament conseqüèncialista (o utilitarista). És l’ètica de les conseqüències, que concep que si el resultat d’una acció és positiu la voluntat darrere de l’acció no importa. Per descomptat, es poden acceptar matisos: des de la distinció de l’utilitarisme de l’acte benthamià (ens hem de basar en el resultat d’una acció sense considerar altres aspectes a priori com els drets) contra l’utilitarisme de la regla de Mill (les conseqüències importen, però tota acció ha d’estar regida sota unes regles concretes), a l’existència de l’utilitarisme efectiu de Singer.

L’ètica conseqüèncialista sol existir en contrast amb l’ètica deontològica, que és el seu oposat; no importa si el resultat és positiu o negatiu, importa fer una acció amb una bona voluntat. Suposem el famós cas de la palanca. En una via hi ha cinc persones a punt de ser atropellades per un tren, en una altra hi ha una sola persona. Si gires la palanca, salves a les cinc persones, però mates a una. Si no la gires, les cinc moriran. Un conseqüèncialista giraria la palanca, doncs que mori una persona és més positiu que cinc; un deontològic no la giraria, perquè fer-ho suposa matar a una persona, una acció dolenta si no es consideren els resultats. Per descomptat, el problema es complica quan comencem a torçar-lo i deformar-lo. Si un familiar substitueix a la persona sola en les vies, què fas? Si en lloc de girar una palanca has d’empènyer a algú per a salvar a cinc persones, li tiraries? Si en lloc d’empènyer-li, t’has de llançar tu a les vies, ho faries?

Per descomptat, aquestes preguntes tenen l’objectiu de qüestionar la coherència moral d’algú. Jo m’acosto més al conseqüèncialisme i, per tant, preferiria girar la palanca per a salvar a les cinc persones, encara que morís una altra per la meva decisió; però si entren en joc les meves emocions en haver de sacrificar a un familiar o la preservació de la meva vida en haver de llançar-me a les vies, dubtaré. Som humans i crear un sistema moral total i totalitzador que ens digui que és el millor què fer és complicat, perquè no podem definir-nos a una sola dimensió com l’eix voluntat-resultat, sinó que tenim de tenir en compte altres com les emocions, la racionalitat o l’egoisme.

Però un algoritme no pot considerar això, perquè és una màquina, i només considera què és el millor, el més desitjable, sota un sistema moral que tendeix a ser total, a decidir què fer en cada cas particular sota un càlcul. Imaginem el cas de l’Autopilot de Tesla, en lloc de nosaltres tirant de la palanca. Posem-nos en el lloc del cotxe: el nostre conductor ens ha ordenat anar a una direcció amb el pilot automàtic, i ell desconnecta, es posa a dormir. No pot supervisar-nos, així que nosaltres controlem un aparell de dues tones que pot arribar als 250km/h. Veiem a cinc persones travessant el carrer i no podrem detenir-nos a temps. Només podem estavellar-nos contra un arbre, matant al nostre conductor i salvant als cinc vianants, o seguir recte i atropellar-los. Per descomptat, com som un sistema, no podem considerar si les cinc persones són nens, o un familiar del conductor: la qualitat es converteix en quantitat, cinc vianants contra un conductor. Què hem de fer?

Els algoritmes han estat (generalment) implementats sota una lent purament utilitarista; si fa un bé general per a la societat, fem-ho! En teoria, això ha de ser positiu; en la pràctica, no. El pilot automàtic, sota la lent utilitarista, s’estavellaria per a salvar als cinc vianants, però en altres situacions més complexes podria no respondre com volem. Clar que els algoritmes no sols prenen decisions de vida o mort, sinó que també recullen la nostra informació en nom de la utilitat: Instagram vol accedir als meus contactes perquè segueixi a la gent que conec, Google accedeix a la meva ubicació per a saber què recomanar-me, Twitter coneix tot amb el que interactuo per a delimitar-me a uns temes. En teoria, la recopilació d’informació ens beneficia a tots! Una companyia m’ofereix un servei gratuït a canvi de recaptar les meves dades i, en teoria, oferir-me publicitat, que a més està personalitzada per a mi, perquè no hagi de buscar el que vull consumir! No hi ha cap problema, no?

Clar que n’hi ha. Una empresa funciona sota dret privat, en relacions contractuals, i pot vendre la informació que vulgui, quan vulgui i a qui vulgui. No tenim una sobirania sobre la nostra privacitat, com a dret, perquè renunciem a ell en nom d’un suposat ben col·lectiu. És l’utilitarisme de l’acte en la seva màxima expressió: si ens beneficia a tots, què importen els teus drets? Però on queda la privacitat quan el dispositiu que tenim en les butxaques pot sentir-nos, saber on estem, veure les nostres fotos, llegir els nostres correus i conèixer el que busquem? I què ocorreria si algun hacker conegués tota aquesta informació? Que s’accedeixi (a vegades) sense el nostre consentiment explícit a les nostres dades és perillosíssim, ja no sols perquè les empreses coneguin tota aquesta informació, sinó perquè aquestes empreses no són perfectes i es poden trencar els seus mecanismes de seguretat. En resum, hem vist que la tecnologia s’ha tornat un ens que penetra en totes les nostres vides, i els seus algoritmes prenen moltes decisions per nosaltres: quines notícies llegir, quins vídeos i fotos veure, que temes ens interessen; ens observen, ens supervisen com un Gran Germà omnipresent. Una empresa, com a ens privat, està en el seu dret d’escriure l’algoritme que desitgi, per la qual cosa no ha de respondre de manera pública davant els seus usuaris: l’usuari ha estat qui ha usat el servei, acceptant unes condicions de l’algoritme. I com hem dit, els algoritmes contenen la visió del programador, amb les seves opinions respecte a qüestions com el gènere, la raça o la classe; això és un tema que tractarem en la segona part, però que d’antuvi es pot resumir en què la tecnologia no té consciència, i per això les decisions que pren depèn de les decisions dels seus creadors.