I ricercatori di Google hanno svelato un nuovo approccio alla formazione dell’intelligenza artificiale, denominato “apprendimento per rinforzo interno” (RL interno), che aggira un collo di bottiglia fondamentale negli attuali modelli linguistici di grandi dimensioni (LLM). Questa tecnica si concentra sulla manipolazione del funzionamento interno dei sistemi di intelligenza artificiale, piuttosto che fare affidamento sul metodo tradizionale di predire la parola successiva in una sequenza. Il risultato: agenti IA capaci di ragionamenti complessi senza i frequenti errori e fallimenti che affliggono i LLM esistenti.
Il problema con gli attuali LLM: errori di ragionamento a lungo orizzonte
I moderni LLM eccellono nel generare testi simili a quelli umani, ma hanno difficoltà con compiti che richiedono un ragionamento continuo e passo passo. Questo perché operano prevedendo il prossimo token (parola o simbolo) in una sequenza, un processo che diventa esponenzialmente inefficiente quando si pianifica su orizzonti temporali più lunghi. La probabilità di imbattersi casualmente nella soluzione corretta in più fasi, come affermano i ricercatori, è “dell’ordine di una su un milione”.
Il problema principale è che questi modelli cercano soluzioni al livello sbagliato. Cercare di risolvere problemi complessi pezzo per pezzo è come assemblare un puzzle un pezzo alla volta senza guardare al quadro più ampio. Ciò è particolarmente problematico quando le ricompense sono scarse, il che significa che il successo è raro e l’intelligenza artificiale riceve poco feedback durante il processo di apprendimento.
RL interno: guidare i “pensieri” dell’IA
Il RL interno di Google risolve questa limitazione introducendo un “metacontroller” che guida le attivazioni interne del modello – i valori numerici che rappresentano le informazioni all’interno della rete – invece di alterare direttamente l’output del modello. In sostanza, questo controller spinge l’IA in uno stato specifico e utile, consentendole di sfruttare la sua conoscenza preesistente per generare automaticamente i passaggi successivi.
Questo approccio non richiede dati di addestramento etichettati da esseri umani. Il metacontrollore apprende analizzando sequenze complete di comportamento e deducendo l’intento di alto livello che meglio spiega le azioni. Ciò sposta l’attenzione della formazione dalla previsione simbolica all’apprendimento di azioni astratte che portano a una soluzione.
Il vantaggio principale è che il modello esplora al giusto livello di astrazione: si impegna in un piano prima di perdersi nei dettagli. Un ricercatore ha spiegato che ciò consente all’intelligenza artificiale di strutturare chiamate logiche e di metodo senza interrompere la sintassi, consentendole di esplorare soluzioni senza commettere errori.
Il vantaggio del modello Frozen: perché è importante il pre-allenamento
I ricercatori hanno testato due metodi per applicare il metacontrollore. Sorprendentemente, l’approccio più efficace prevedeva il “congelamento” di un LLM pre-addestrato, il che significa che i suoi parametri principali non venivano aggiornati durante la formazione. Il metacontrollore è stato quindi addestrato a guidare lo stato interno di questo modello congelato. La formazione congiunta del modello base e del controller partendo da zero si è rivelata inefficace.
Il successo dell’approccio congelato suggerisce che comportamenti complessi sono già latenti all’interno dei LLM pre-addestrati. Il ruolo del metacontrollore non è costruire questi comportamenti da zero ma attivarli strategicamente. Ciò implica che il futuro sviluppo dell’intelligenza artificiale potrebbe concentrarsi meno sulla formazione dei LLM da zero e più sulla ricerca di modi per sbloccare le loro capacità nascoste.
Implicazioni pratiche: agenti autonomi e oltre
Le implicazioni del RL interno sono significative. Fornisce un percorso scalabile verso la creazione di agenti autonomi in grado di gestire ragionamenti complessi e robotica del mondo reale senza un costante intervento umano. Ciò potrebbe rivoluzionare le industrie che fanno affidamento sull’automazione, dalla generazione di codici alla logistica e alla produzione.
La ricerca suggerisce anche che il futuro dell’intelligenza artificiale potrebbe risiedere nei “pensieri silenziosi” – processi di ragionamento interno che non sono esplicitamente esternalizzati attraverso verbose catene di pensiero. Se questi meccanismi interni potessero essere guidati in modo affidabile, le strategie di stimolo potrebbero diventare meno critiche e i sistemi di intelligenza artificiale diventeranno più efficienti e adattabili.
In conclusione, la svolta RL interna di Google dimostra un percorso promettente verso la creazione di agenti IA più robusti e intelligenti. Spostando l’attenzione dalla previsione simbolica alla manipolazione dello stato interno, questa tecnica ha il potenziale per sbloccare una nuova era di sistemi autonomi in grado di ragionare, pianificare e adattarsi con un’efficienza senza precedenti.
