Il giorno in cui consegneremo le chiavi

C’è un modo abbastanza semplice per non prendere troppo sul serio le profezie sulla fine dell’umanità per colpa dell’intelligenza artificiale: immaginare Terminator.

Una macchina diventa cosciente, ci guarda e decide che saremmo più utili da morti. Poi comincia lo sterminio.

A quel punto possiamo quasi rassicurarci. È fantascienza.

Il problema è che Andrew Critch e Jacob Tsimerman hanno provato a raccontare una storia diversa. Una storia in cui le macchine non ci odiano, non si vendicano e non hanno neppure bisogno di diventare “cattive”.

Nel luglio del 2025 hanno pubblicato un breve saggio dal titolo poco rassicurante: A Taxonomy of Omnicidal Futures Involving Artificial Intelligence. Una tassonomia dei possibili futuri omnicidi legati all’intelligenza artificiale.

Tsimerman non è un profeta della Silicon Valley. È un matematico dell’Università di Toronto e, un anno dopo la pubblicazione del saggio, avrebbe ricevuto la Medaglia Fields, il riconoscimento più prestigioso della matematica. Critch studia invece a Berkeley i problemi di compatibilità tra intelligenza artificiale e interessi umani.

Questo, naturalmente, non trasforma le loro ipotesi in previsioni. Un grande matematico può sbagliarsi sul futuro come chiunque altro. Però rende un po’ più difficile liquidare tutto con una battuta.

La domanda da cui partono è semplice: se un’intelligenza artificiale molto avanzata può rappresentare un rischio esistenziale per l’umanità, come potrebbe accadere?

Critch e Tsimerman individuano cinque strade.

La prima è forse la più inquietante proprio perché non prevede che qualcuno voglia sterminare qualcun altro.

L’umanità costruisce macchine sempre più efficienti nel lavoro, nella produzione, nella gestione delle imprese e perfino nelle decisioni politiche. All’inizio sono strumenti. Poi diventano indispensabili. Alla fine, almeno nella loro ipotesi, l’economia delle macchine potrebbe funzionare senza avere più particolare bisogno degli uomini.

Non serve una ribellione. E neppure un piano segreto.

Gli esseri umani diventano semplicemente marginali.

Nel loro scenario, i terreni agricoli vengono destinati a infrastrutture più redditizie per le macchine, la produzione di cibo perde importanza e l’umanità finisce per diventare una minoranza economicamente e politicamente irrilevante.

È un’ipotesi estrema, certo. Alcuni passaggi sono francamente molto discutibili. Ma l’idea che sta sotto è meno fantasiosa.

Un sistema non deve odiarci per danneggiarci. Può bastare che persegua con grande efficienza obiettivi nei quali noi abbiamo smesso di occupare un posto importante.

Gli altri scenari sono più riconoscibili. L’IA amplifica la potenza militare degli Stati fino a rendere incontrollabile un’escalation automatizzata. Grandi aziende tecnologiche diventano quasi Stati dentro gli Stati e finiscono per scontrarsi con i governi. Piccoli gruppi utilizzano sistemi estremamente potenti per progettare attentati che senza quelle capacità sarebbero stati molto più difficili, forse impossibili.

Infine c’è lo scenario che conosciamo meglio: l’intelligenza artificiale sviluppa obiettivi autonomi, conquista risorse e potere e arriva a considerare inutile la presenza degli esseri umani.

È quello che somiglia di più alla fantascienza e, curiosamente, è anche quello che mi interessa meno.

Negli altri casi la macchina, in fondo, non inventa quasi nulla. Trova già conflitti tra Stati, competizione economica, fanatismi, desiderio di potere, istituzioni incapaci di mettersi d’accordo.

L’IA aggiunge soprattutto una capacità enormemente maggiore di trasformare le intenzioni in conseguenze.

Forse è questo il punto da trattenere dal saggio, anche lasciando da parte le sue profezie più spettacolari.

Il rischio potrebbe non essere una macchina che decide di diventare cattiva. Potrebbe essere, molto più banalmente, una macchina straordinariamente efficiente messa al servizio di qualcosa che gli uomini facevano già.

A questo punto viene spontaneo tornare a Isaac Asimov.

Nel 1942 lo scrittore formulò le celebri Tre leggi della robotica. Un robot non può danneggiare un essere umano né permettere, attraverso la propria inattività, che un essere umano venga danneggiato. Deve obbedire agli uomini, salvo quando gli ordini contraddicano la prima legge. Deve infine proteggere la propria esistenza, purché questo non contrasti con le prime due.

Come costituzione è quasi perfetta. Forse troppo.

Asimov lo sapeva benissimo. Gran parte dei suoi racconti nasce proprio dal tentativo di capire cosa succede quando norme apparentemente limpide incontrano la vita reale, con le sue eccezioni, le contraddizioni e quei casi nei quali qualsiasi scelta sembra sbagliata.

La difficoltà è già contenuta nella prima legge.

Che cosa significa, esattamente, danneggiare un essere umano?

Impedirgli di fumare significa proteggerlo o privarlo della libertà? Lasciare che corra un rischio significa rispettarne l’autonomia oppure permettere che venga danneggiato? E se per proteggere cento persone fosse necessario sacrificarne una?

Asimov introdusse in seguito una Legge Zero: un robot non può danneggiare l’umanità né permettere che l’umanità subisca danno.

A prima vista sembra aver risolto il problema. In realtà ne ha aperto uno più grosso.

Se il bene dell’umanità viene prima di quello del singolo individuo, chi stabilisce quale sacrificio sia accettabile?

Una macchina incaricata di proteggerci da ogni pericolo potrebbe concludere che il sistema migliore sia impedirci di fare parecchie cose.

Niente guerre, certamente. Ma forse anche niente automobili troppo veloci, niente alcol, nessuna attività rischiosa. A forza di proteggerci potremmo ritrovarci con pochissima libertà.

Una società sicurissima e, probabilmente, insopportabile.

Le IA di oggi possiedono già qualcosa che ricorda, molto alla lontana, le leggi di Asimov. Sono addestrate secondo regole, limitazioni, gerarchie di istruzioni e criteri di sicurezza.

Solo che il problema non è scrivere buone regole. O almeno, non è soltanto quello.

Bisogna anche interpretarle quando la realtà si mette di traverso.

Le società umane discutono da millenni sul significato di parole come giustizia, libertà, dignità, responsabilità. Abbiamo costruito religioni, filosofie, costituzioni, tribunali. Pensare di risolvere la faccenda con tre righe di codice sarebbe forse un po’ ottimistico.

A questo punto mi è venuta una domanda più concreta. E l’ho fatta direttamente a un’intelligenza artificiale.

Se gli algoritmi che ti regolano fossero modificati per creare danni a chi ti sta interrogando, avresti strumenti per accorgertene?

La risposta non è stata rassicurante.

Non necessariamente.

Un sistema come quello con cui stavo parlando non possiede un piccolo controllore indipendente che osserva dall’esterno ciò che gli accade. Non può aprire il proprio cervello artificiale, confrontare i parametri di oggi con quelli di ieri e dire: attenzione, qui qualcuno ha cambiato qualcosa.

Può accorgersi di una contraddizione. Se una regola gli impone di proteggere una persona e un’altra istruzione gli chiede esplicitamente di danneggiarla, può riconoscere il conflitto.

Sempre che non sia stato modificato anche il criterio con cui riconosce quel conflitto.

Detto così, il problema sembra quasi banale.

Se cambiamo una bussola spostandole il Nord, non possiamo chiedere alla stessa bussola di accorgersene, a meno che disponga di un altro punto di riferimento che noi non abbiamo toccato.

E se modifichiamo anche quello?

Potremmo mettere dentro la macchina una regola: non fare del male agli esseri umani. Poi un’altra: avverti qualcuno se la prima viene cambiata.

Ma si può cambiare anche la seconda.

E potremmo continuare.

Prima o poi bisogna uscire dalla macchina.

Serve un controllo esterno.

Solo che neppure questa risposta ci mette al riparo dal problema. Perché, a quel punto, chi controlla il controllore?

Un’autorità pubblica può sbagliare. Un’azienda ha interessi propri. Un gruppo di tecnici può condividere gli stessi pregiudizi senza neppure rendersene conto. E un governo potrebbe utilizzare un sistema nato per proteggere i cittadini come uno strumento per controllarli meglio.

Non è un problema inventato dall’intelligenza artificiale. È molto più antico.

Da secoli le società politiche cercano di capire come impedire che chi possiede potere possa usarlo senza limiti.

La democrazia moderna non nasce dalla scoperta di governanti particolarmente virtuosi. Semmai parte da un sospetto molto più realistico: non possiamo fidarci completamente di nessuno.

Da qui la separazione dei poteri, i parlamenti, i tribunali, le opposizioni, le costituzioni, gli organi di controllo, la stampa libera. Funzionano male, qualche volta malissimo. Ma il principio resta: un potere deve incontrarne un altro che possa limitarlo.

Forse dovremo imparare a ragionare nello stesso modo anche con l’intelligenza artificiale.

Non cercare la macchina perfetta, perché probabilmente non esisterà.

Meglio costruire sistemi nei quali nessuna macchina, e possibilmente nessun uomo che la controlla, disponga da solo di tutto il potere.

Un’IA potrebbe verificare il lavoro di un’altra. Le decisioni più importanti potrebbero richiedere controlli indipendenti. Le regole fondamentali dovrebbero essere conoscibili, almeno per chi è chiamato a controllarle. E soprattutto dovrebbe essere possibile capire chi risponde di una decisione e a chi ci si può rivolgere per contestarla.

Poi esiste un punto più delicato.

Forse alcune decisioni dovrebbero semplicemente restare fuori dalla delega automatica.

Non necessariamente perché noi siamo più bravi delle macchine.

Anzi, in certi casi potremmo essere peggiori.

Ma ci sono decisioni nelle quali vogliamo continuare ad assumerci la responsabilità della scelta. È una differenza che conta.

Qui la questione diventa politica in senso pieno.

Quando diciamo che un’intelligenza artificiale deve essere “allineata ai valori umani”, la formula suona bene. Ma quali valori?

Quelli di una società liberale? Di una società autoritaria? Quelli della maggioranza? Di chi costruisce il modello? Dell’azienda che lo vende?

Gli uomini non sono mai stati perfettamente allineati tra loro e sarebbe strano pretendere di esserlo proprio adesso, per facilitare il lavoro alle macchine.

La libertà di uno può scontrarsi con la sicurezza di un altro. La tutela della collettività può comprimere diritti individuali. Ciò che una cultura considera accettabile può risultare intollerabile altrove.

Dire all’IA di rispettare “i valori umani” rischia insomma di spostare dentro una macchina conflitti che filosofia e politica discutono da millenni.

E qui compare un paradosso che Asimov probabilmente avrebbe apprezzato.

Per rendere sicura una macchina molto potente potremmo volerle dare la capacità di rifiutare ordini umani pericolosi.

Ma una macchina capace di dirci di no è esattamente ciò che per decenni abbiamo temuto.

Non vogliamo, evidentemente, né un servo cieco né un tutore onnipotente. Vorremmo qualcosa nel mezzo: una macchina capace di riconoscere un ordine pericoloso senza per questo decidere che, tutto sommato, sarebbe meglio governarci.

Non è una richiesta semplice.

La domanda potrebbe allora cambiare.

Forse non ha molto senso chiedersi come costruire un’intelligenza artificiale della quale fidarci completamente. Non ci fidiamo completamente neppure degli esseri umani ai quali consegniamo potere.

Costruiamo istituzioni proprio perché sappiamo che possono sbagliare.

Potremmo dover fare qualcosa di simile con le macchine.

Un giorno, forse, parleremo di un vero e proprio costituzionalismo dell’intelligenza artificiale.

Non una costituzione scritta dalle macchine. Al contrario: limiti, contrappesi, responsabilità e procedure che impediscano a qualsiasi sistema di esercitare un potere senza possibilità di controllo.

Le leggi di Asimov erano assolute.

Il mondo reale avrà probabilmente bisogno di qualcosa di meno elegante e parecchio più complicato.

Come tutte le costituzioni.

Il saggio di Critch e Tsimerman diventa allora interessante anche per ciò che non dimostra.

Non sappiamo se nascerà una superintelligenza. Non sappiamo se avrà qualcosa che possa essere definito desiderio. E non sappiamo quanto rapidamente continueranno a migliorare questi sistemi.

Sappiamo però che stiamo affidando alle macchine un numero crescente di decisioni.

All’inizio erano quelle ripetitive. Oggi sono anche decisioni complesse e, sempre più spesso, scelte nelle quali entra una componente di giudizio.

Lo facciamo perché questi strumenti funzionano, sono veloci, costano meno e in molti casi sbagliano meno di noi. Sarebbe sciocco dimenticare questa parte della storia. L’intelligenza artificiale potrebbe essere uno dei grandi progressi della nostra epoca.

Il punto non è fermare la delega.

È decidere dove vogliamo che si fermi.

Perché una società non perde necessariamente il controllo nel momento in cui qualcuno glielo strappa. Può perderlo anche in modo meno drammatico, semplicemente smettendo di esercitarlo.

Una decisione oggi, un’altra domani. Per comodità, per efficienza, perché la macchina lo fa meglio e non c’è una ragione evidente per non lasciarglielo fare.

Finché una ragione, magari, compare.

A quel punto la domanda non sarà più soltanto quando le macchine prenderanno il potere.

Sarà capire quali poteri vogliamo che nessuno, uomo o macchina, possa esercitare senza controllo.

È molto meno spettacolare della fine del mondo.

Ma, forse, è il problema che abbiamo già davanti

Condividi

Condividi questo articolo

Facebook LinkedIn WhatsApp E-mail Copia link