NVIDIA ACE for Games dà vita ai personaggi non giocanti (NPC) con l'AI generativa

Si chiama NVIDIA Avatar Cloud Engine (ACE) for Games la nuova tecnologia di NVIDIA presentata al Computex 2023 che infonde l'intelligenza artificiale nei personaggi non giocanti, i cosiddetti NPC.

"Immaginate un gioco nel quale potete avere conversazioni dinamiche, intelligenti e non scriptate con i personaggi non giocanti con personalità persistenti che evolvono nel tempo e animazioni ed espressioni facciali accurate, il tutto nella vostra lingua nativa" è la descrizione data dalla società statunitense.

NVIDIA parla di "custom AI model foundry service" riferendosi a NVIDIA ACE for Games, sottolineandone il potenziale rivoluzionario per quanto riguarda l'interattività che i giocatori "possono avere con i personaggi e aumentarne notevolmente il coinvolgimento", ha affermato John Spitzer, vicepresidente of developer and performance technology at NVIDIA. "Basandoci sulla nostra esperienza nell'IA e su decenni di lavoro con gli sviluppatori di giochi, NVIDIA sta guidando l'uso dell'IA generativa nei videogiochi".

Gli sviluppatori di giochi, tool e middleware possono usare NVIDIA ACE for Games per creare e rendere disponibili nelle loro produzioni, su cloud e PC, modelli di AI personalizzati per discorsi, conversazioni e animazioni.

Il tutto si basa su tre elementi chiamati NVIDIA NeMo, NVIDIA Riva e NVIDIA Omniverse Audio2Face. NeMo fornisce modelli linguistici di base e strumenti di personalizzazione in modo che gli sviluppatori possano ottimizzare ulteriormente i modelli per i personaggi all'interno dei giochi. "Questo modello di linguaggio di grandi dimensioni custom (LLM) consente di creare storie e personalità di personaggi specifici che si adattano al mondo di gioco di uno sviluppatore", sottolinea la casa di Santa Clara.

NVIDIA Riva fornisce funzionalità di riconoscimento vocale automatico (ASR) e sintesi vocale (TTS) per consentire conversazioni vocali dal vivo con NVIDIA NeMo. Infine, NVIDIA Omniverse Audio2Face crea istantaneamente animazioni facciali espressive per i personaggi partendo da una semplice sorgente audio. "Audio2Face dispone di connettori Omniverse per Unreal Engine 5, in modo che gli sviluppatori possano aggiungere animazioni facciali direttamente ai personaggi MetaHuman", specifica NVIDIA.

Per mostrare la potenza di NVIDIA ACE for Games, la società statunitense ha stretto una partnership con Convai, una startup del programma NVIDIA Inception da cui è nata la demo NVIDIA Kairos che potete vedere di seguito:

La demo si avvale di NVIDIA Riva per le funzionalità di sintesi "da testo a voce" e "da voce a testo", NVIDIA NeMo per potenziare l'intelligenza artificiale conversazionale e Audio2Face per produrre l'animazione facciale corrispondente all'input vocale. Questi moduli sono stati integrati nella piattaforma di Convai e inseriti in Unreal Engine 5 e MetaHuman per dare vita a Jin, il protagonista della demo.

La scena è stata creata dal team di NVIDIA Lightspeed Studios e renderizzata interamente in Unreal Engine 5, usando NVIDIA RTX Direct Illumination (RTXDI) per l'illuminazione e le ombre, con ray tracing e DLSS presenti per assicurare un'elevata qualità dell'immagine e un frame rate adeguato.

NVIDIA, infine, ha dichiarato già alcuni sviluppatori di giochi e startup stanno usando le tecnologie di AI generativa di NVIDIA. Per esempio, GSC Game World sta usando Audio2Face all'interno di S.T.A.L.K.E.R. 2 Heart of Chornobyl. Lo sviluppatore indie Fallen Leaf si avvale invece di Audio2Face per l'animazione facciale del personaggio di Fort Solis, uno sci-fi thriller in terza persona ambientato su Marte. Infine, Charisma.ai sta sfruttando Audio2Face per potenziare le animazioni dei personaggi che parlano.