DeepMind è ora in grado di battere i giocatori umani in 57 giochi Atari

I videogiochi sono quasi sempre molto semplici da comprendere per quanto riguarda le basi, ma nei livelli avanzati la difficoltà aumenta in modo considerevole. In termini abituali per i giocatori, sono semplici da apprendere e difficili da padroneggiare. Gli agenti di intelligenza artificiale di DeepMind si sono in passato "allenati" con Go e con StarCraft II, mentre adesso sono tornati ai giochi Atari con il nuovo Agent57.

Il più recente agente della compagnia controllata da Alphabet (Google) può battere il giocatore umano medio a 57 classici del passato di Atari che si contraddistinguono per diversi livelli di difficoltà e caratteristiche di gioco disomogenee. Il riferimento dei giochi Atari per misurare le prestazioni di un agente di deep learning può sembrare strano, ma in realtà è uno standard che risale al 2012, che prevede una selezione di classici Atari tra cui Pitfall, Solaris, Montezuma's Revenge e molti altri.

L'obiettivo degli sviluppatori degli agenti IA non è tanto quello di massimizzare le possibilità di successo per ogni gioco affrontato, ma di mettere l'agente nelle condizioni di apprendere attraverso molteplici e mutevoli scenari e condizioni di gioco. In altri termini, lo scopo è quello di ricreare un intelligenza artificiale il più "umana" possibile, ovvero che sia in grado di riconoscere e interpretare correttamente il problema da affrontare, anche se non lo ha mai incontrato prima, e trovare soluzioni efficaci.

DeepMind Agent57 è notevole perché si comporta meglio dei giocatori umani in ognuno dei 57 giochi del set Atari57. DeepMind porta avanti lo studio sui giochi Atari da diverso tempo, e fino a oggi i suoi agenti sono stati in grado di avere la meglio solo per una selezione di giochi, non per tutti. Questo dipende dal fatto che si tratta di giochi che presentano sfide completamente diverse da loro, sia sul piano della difficoltà che delle meccaniche di gioco. Gli agenti del passato erano fin troppo bravi nei giochi più semplici, che prevedevano un ciclo elementare di azioni/ricompense, ma completamente inefficaci nei giochi con gameplay avanzato che richiedevano doti di gestione della parte esplorativa e di memoria a lungo termine, come Montezuma's Revenge.

Il team di DeepMind ha affrontato questo problema creando agenti distribuiti su diversi computer, ognuno dei quali specializzato in un aspetto del problema. Alcuni degli agenti sono stati focalizzati sulle ricompense nuove, ovvero che non sono mai state incontrate prima. Altri su problemi più semplici, come individuare i modelli ricorrenti che fornivano le migliori ricompense. Un agente generico, infine, pondera i costi e i benefici dei diversi approcci in base alla tipologia di gioco affrontata.

Agent57 ha raggiunto un grande risultato, ma il team di DeepMind afferma che può essere ulteriormente migliorato. Innanzitutto, è molto esigente dal punto di vista computazionale, quindi i suoi sviluppatori cercheranno di semplificarlo. In secondo luogo, anche se è molto abile con i giochi più difficili, non è ancora sufficientemente efficiente con quelli più semplici. Gli agenti del passato, infatti, erano migliori in questi ultimi. Qui altri dettagli su come viene "allenato" un agente IA.

Il seguente filmato mostra come Agent57 riesca ad affrontare il videogioco Alien, una sorta di clone di Pac-Man.