Obre el seu llibre preguntant-se què distingeix la intel·ligència humana de l'artificial. Si hagués de quedar-se només amb una diferència clau, quina seria?
La diferència fonamental és que els humans tenim sentit comú. Bé, alguns no gaire. El sentit comú és una qualitat difícil d'explicar, però fàcil d'entendre. És la capacitat de fer-se càrrec del context, de la situació, de saber manejar bé informació incompleta i completar-la nosaltres d'alguna manera. Això les màquines no ho tenen; l'hi hem de donar tot explícitament.
En la seva obra introdueix dues idees noves: la "governança algorítmica" i la "democràcia de les recomanacions". Com les definiria de manera senzilla?
La governança algorítmica és el procés de presa de decisions polítiques mitjançant algorismes per saber manejar la complexitat que sobrepassa els humans. En el llibre estableixo una sèrie de condicions i límits a aquesta governança. La democràcia de les recomanacions proposa aplicar a la política els sistemes de suggeriments de plataformes com Amazon, deduint a partir de les nostres petjades digitals el que la gent "realment" vol, sense mediació ideològica. En faig una crítica perquè hi ha una confusió profunda sobre què són les preferències i quin tipus d'individu està present en aquests sistemes. Em sembla que és inadequat com a substitut de la democràcia.
Explica que la governança algorítmica encara no forma part plena de la política. Existeix el risc que aquests conceptes creïn confusió en avançar-se a una realitat que encara ha d'arribar?
Arribarà, és imparable. La presència d'algorismes en la presa de decisions serà cada vegada més intensiva i generarà problemes. Ja va haver-hi casos greus, com un a Holanda en què un algorisme va interpretar com a frau l'error d'uns migrants que no dominaven l'idioma i el sistema d'ajudes socials va rebutjar la seva sol·licitud. Un humà ho hauria entès de seguida, en veure la seva incapacitat de comunicar-se en holandès. La democràcia de les recomanacions és més utòpica, però no m'estranyaria que en els cercles de poder tecnològic s'estigui somiant amb imposar aquest model, com ja veiem en altres àmbits en què se substitueix el servei públic pel model orientat al client. Hem de tenir arguments conceptuals armats per a una cosa que vindrà de manera molt impetuosa.
Ressegueix la història de l'automatització en política, des de Hobbes fins a la burocràcia moderna. Què té de diferent l'algoritmització actual? Per què podria tornar la governança més opaca o difícil de controlar?
És un altre tipus d'opacitat; aquesta tecnologia afegeix un grau d'opacitat radical. No acabem d'entendre bé per què ha pres una decisió. Al buròcrata li podíem demanar una explicació i podia donar-la o no. Però estem davant de màquines que elles mateixes tindrien moltes dificultats per explicar-ho. Hi ha una opacitat general en el sistema. La meva proposta és distingir tipus d'opacitats i exigir la transparència corresponent a cadascuna.
Critica la idea que n'hi hagi prou amb els "complements ètics" per controlar la IA. Si la moratòria no és realista i l'ètica no és suficient, quin camí proposa per avançar cap a una IA realment democràtica?
Hauria de ser una intel·ligència artificial que inclogués en el seu procés de vida una intervenció expressa, fins i tot política, de la gent. La democràcia de les recomanacions ve a substituir la voluntat explícita de la gent per la voluntat implícita del consumidor. El que la gent vol depèn del que diu la gent que vol i no del que nosaltres deduïm. La democràcia no és una pèrdua de temps: és una garantia fràgil, qüestionable i millorable que allà on arribem és un lloc en què val la pena ser-hi i que comptarà amb la nostra acceptació. Aquest és el model. La utopia democràtica té a veure amb això.
Una de les seves alertes és que els algorismes ens restin autonomia personal. Aquesta preocupació ja va aparèixer amb tecnologies anteriors, com la ràdio o la televisió. Però no és cert que les nostres opinions sempre han estat influenciables, amb o sense tecnologia? És real la idea d'un subjecte totalment autònom i reflexiu? O és més aviat una ficció útil?
Crec que estem davant d'un context que es pot denominar "histèria digital". Ens han convertit en subjectes histèrics, amb expectatives desmesurades, però també és un pànic que no es correspon amb la realitat. El meu llibre, si es permet l'analogia, és un ansiolític per a subjectes digitals. És un tranquil·litzant. Hem de reflexionar bé sobre els conceptes: intel·ligència, control, transparència, democràcia. Una reflexió sobre aquestes qüestions ens permetrà avaluar les nostres expectatives i els nostres temors.
També adverteix de l'impacte dels algorismes en la deliberació democràtica. La democràcia deliberativa està més amenaçada avui que en l'era dels grans mitjans? O és també una ficció necessària, com la del subjecte autònom?
Sí, és una ficció, però és una ficció que almenys ens serveix per establir un límit a la mera agregació d'interessos. Jo no sé gaire com es fa una democràcia deliberativa, però sabem que la mera agregació d'interessos produeix moltes vegades danys als mateixos interessats o resultats subòptims. Hem de pensar quin afegit li cal a l'agregació i quines estratègies, quines institucions, quins procediments la poden millorar.
Resulta interessant la seva idea de la democràcia com a sistema que corregeix la fal·libilitat humana. Però potser és una visió molt sofisticada. Creu que és una manera d'entendre la democràcia que realment comparteix una part significativa de la ciutadania?
En el fons, és una idea vella de Spinoza: és poc versemblant que els éssers humans romanguem sempre unànimes en el mateix error. La democràcia és un invent per fer això encara més inversemblant. En una democràcia hi ha govern, oposició, llibertat d'expressió i de crítica… Sense ser un fanàtic de la democràcia epistèmica, crec que tendim a donar-li un valor normatiu i a vegades no atenem prou els seus avantatges epistèmics. Els problemes del món necessiten més coneixement que bona voluntat; són en bona part problemes més d'ignorància que de falta de lideratge.
Planteja la coexistència de dues legitimitats: la procedimental i la de resultats. Creu que part de la crisi actual de la democràcia es deu al fet que molta gent només reconeix la legitimitat basada en els resultats?
Això indica que tenim molta feina per davant. En aquests moments, la pressió perquè el resultat sigui l'únic criteri és molt forta. M'he endut sorpreses en trobar gent molt formada i demòcrata que comença a considerar que el model xinès "tampoc està tan malament". Tenim aquesta temptació com a societat. L'hem de compensar de dues maneres: els acadèmics, formulant una teoria atractiva dels altres aspectes de la democràcia, com els procediments i un altre tipus de legitimació, i el sistema polític, donant millors resultats. Em resisteixo a la idea que els acadèmics haguem de portar tot el pes de la responsabilitat d'arreglar aquesta disfunció; si el sistema polític no és capaç de resoldre problemes aguts i persistents com el canvi climàtic i la desigualtat, es veurà cada vegada més impotent davant dels qui volen engegar-ho tot a canvi de resultats.
La UOC està inherentment lligada a l'ús de la tecnologia. Quin principi fonamental hauria de guiar, des de la seva visió, l'aplicació de la IA en l'educació perquè aquesta potenciï, i no limiti, l'autonomia i el pensament crític de l'estudiantat?
No crec que hi hagi una contradicció en el fet que el mitjà bàsic de la UOC sigui un entorn digital i que el tipus de formació que es doni incorpori aquest tipus de valors. Amb la pandèmia vam percebre que la digitalització era molt útil per a certes coses i tenia limitacions per a unes altres. La UOC ho sap des de fa molt més temps. La meva resposta seria que no hi hem de veure una incompatibilitat. El tipus d'estratègies cognitives que fomentem en l'alumnat poden ser completament compatibles amb el fet que el format sigui digital o presencial.
