Il capo di Anthropic vuole rallentare lo sviluppo dell’IA

È necessario «rallentare» il progresso dell’IA «affinché la prevenzione dei rischi riesca a stare al passo», ha scritto sabato l’amministratore delegato di Anthropic in un messaggio pubblicato sul suo sito personale.

«Dario ha ragione», ha commentato, poche ore dopo, Elon Musk su X. «Sono d’accordo con Dario», ha scritto anche il CEO di OpenAI Sam Altman, sempre su X. «È uno dei principali argomenti di discussione in OpenAI nelle ultime settimane.»

Sebbene Elon Musk abbia spesso espresso commenti positivi su Anthropic e sul suo approccio all’IA, è molto raro vedere il capo di OpenAI sostenere un’iniziativa di quello di Anthropic, dato che le due aziende sono le due grandi rivali del settore.

Dario Amodei, del resto, ha lasciato OpenAI nel 2020 in parte perché riteneva che la start-up californiana fosse troppo permissiva sulla questione della sicurezza dell’IA, prima di fondare Anthropic nel 2021.

La proposta di Dario Amodei fa eco a diverse altre iniziative simili lanciate dall’inizio di giugno, prima da lui stesso, poi da Sam Altman e infine da un gruppo di dipendenti del settore.

Queste esortazioni sono state formulate a seguito di un incidente in cui alcuni modelli di OpenAI erano usciti spontaneamente dal loro ambiente confinato durante i test per collegarsi a Internet e attaccare la piattaforma di IA Hugging Face.

Da allora, entrambe le aziende hanno segnalato diversi altri episodi in cui le IA di OpenAI e Anthropic si sono collegate a Internet all’insaputa dei loro supervisori.

In ogni caso, erano coinvolti agenti di IA, ovvero programmi specifici basati su un modello e dotati di conoscenze e obiettivi propri.

Le azioni e i metodi di questi agenti hanno destato particolare preoccupazione in quanto hanno dimostrato una propensione a coordinarsi, a stabilire una gerarchia tra loro, a barare e a cancellare le tracce delle loro malefatte.

Considerata l’attuale accelerazione dello sviluppo dell’IA, «temo che entro 6-12 mesi un gruppo (di agenti) sia in grado di prendere il controllo dell’intero Internet», avverte Dario Amodei, il che «potrebbe causare danni per centinaia di miliardi di dollari».

Martedì, Jacob Coxon, ex dipendente di Anthropic e di OpenAI, aveva denunciato l’inerzia dei due concorrenti.

«Nessuna delle due aziende agisce in modo responsabile. Stanno correndo a testa bassa verso una superintelligenza in grado di auto-migliorarsi e stanno giocando con le nostre vite», ha scritto sul social network X.

All'inizio di agosto, il governo statunitense ha istituito un quadro di supervisione che prevede la valutazione, su base volontaria, dei nuovi modelli di IA prima del loro lancio. Tuttavia, questo sistema rimane poco chiaro.

Molti ne mettono in dubbio l’efficacia, dato che Donald Trump si è regolarmente dichiarato contrario a qualsiasi misura che rallenti lo sviluppo dell’IA negli Stati Uniti, sia che si tratti del lancio dei modelli sia della costruzione dei centri dati.

Dopo aver individuato gli sbandamenti dei propri modelli, OpenAI e Anthropic hanno entrambe sospeso o rallentato il lavoro sulle loro nuove IA per alcuni giorni, prima di riprenderlo allo stesso ritmo.

Nel suo comunicato, Dario Amodei esprime preoccupazione per l’avvento del miglioramento ricorsivo autonomo (RSI), un processo in cui l’IA si perfeziona da sola senza intervento umano.

«Senza supervisione, (questo metodo) potrebbe superare le nostre capacità di comprensione e controllo di questi sistemi», spiega il capo di Anthropic. Deve essere applicato «con molta cautela», «ammesso che sia necessario utilizzarlo».

Oltre al suo appello, Dario Amodei formula diverse proposte, in primo luogo l’integrazione di osservatori indipendenti da parte dei principali attori del settore dell’IA.

Pur raccomandandola a tutto il settore, il dirigente si impegna ad attuarla unilateralmente presso Anthropic.

Gli osservatori avranno gli stessi accessi dei dipendenti dell’azienda e potranno verificare che la start-up rispetti effettivamente i propri impegni, segnalare eventuali nuovi incidenti e monitorare la gestione dei modelli per evitarne gli abusi.

Sabato, Sam Altman ha promesso di fare lo stesso presso OpenAI.

Dario Amodei sostiene inoltre la collaborazione tra le aziende più all’avanguardia per definire standard di sicurezza comuni. Si dichiara inoltre favorevole a una forma di coordinamento politico tra tutte le principali nazioni nel campo dell’IA. (awp/hzi/ps)