Il primo Doom giocato da un chip neurale che può consumare 1 milliwatt

Nei trattori, nel blocco note di Windows e chi più ne ha ne metta: negli ultimi anni abbiamo visto il primo storico Doom girare su qualsiasi cosa, adesso anche su un chip neurale a bassissimo consumo. La dimostrazione è avvenuta all'ISSCC 2023 di San Francisco (ne parla IEEE Spectrum), dove la californiana Syntiant ha illustrato le capacità del suo ultimo NDP200 - dove NDP sta per Neural Decision Processor.

Syntiant progetta chip a bassissimo consumo pensati per gestire reti neurali che monitorano flussi video e audio, allertando altri sistemi nel caso venga rilevato qualcosa di importante. Al fine di dimostra le capacità di NDP200, la società ha usato VizDoom, una versione alleggerita del gioco popolare nel mondo della ricerca sull'AI, al fine di evidenziare che è "possibile eseguire rilevazioni e azioni significative" anche con potenza e consumi limitati.

Il team di Syntiant ha usato il reinforcement learning (apprendimento per rinforzo) per allenare una rete neurale composta da diversi layer. Il primo insieme di layer era deputato a comprendere ciò che la rete stava vedendo, l'altro a reagire in base a quanto rilevato.

Il livello di gioco, chiamato "Defend the Circle", richiedeva di muoversi all'interno di una stanza circolare, sparando a qualunque mostro si presentasse. La rete era composta da 600.000 parametri in totale, nulla di paragonabile ai diversi miliardi di ChatGPT o ai 10.000 richiesti per comprendere frasi come "OK, Google". NDP200 integra 640 kilobyte di memoria a bordo per la gestione di tali parametri, opera fino a 100 MHz e ha persino 26 pin GPIO.

David Garrett, ex chief architect e senior vice president of engineering di Syntiant, ha spiegato che la rete neurale, giocando e rivedendo le sue prestazioni, ha affinato autonomamente sempre di più la propria strategia per conservare le munizioni, fino a diventare probabilmente più forte di lui a giocare alla versione originale di Doom.

Non era però questo l'obiettivo: Doom è servito per dimostrare che NDP200 è in grado di eseguire a basso consumo il rilevamento delle persone (operazione detta bounding-box person detection), un'attività che richiede tipicamente chip più potenti. NDP200 si candida quindi a essere integrato in soluzioni di edge computing, sistemi di sicurezza domestici o automobilistici.

Per sottolinearne l'efficienza energetica, Syntiant ha confrontato l'NDP200 con un processore basato su ARM Cortex A53 impegnato a eseguire una versione a 200.000 parametri di MobileNetV1, il test usato da MLPerf per giudicare i sistemi in base alla loro risposta alle "parole di attivazione visiva". L'NDP200 ha usato solo 166 microjoule per ogni scansione di un'immagine, circa 1/100 di quanto non abbia fatto il processore ARM. Il chip di Syntiant può quindi scansionare sei fotogrammi al secondo di video consumando 1 milliwatt.

Il "segreto" del chip è il bus che alimenta il processore decisionale neurale del chip. Secondo Garett, mantenendo le unità di moltiplicazione e accumulazione sotto carico il più possibile, è possibile macinare 9 gigabyte di dati al secondo.