Simulazione robotica

I robot physical AI e le flotte di robot devono rilevare, pianificare e agire in modo autonomo per eseguire attività complesse del mondo reale, come muoversi attraverso strutture affollate e gestire in modo sicuro gli oggetti in condizioni mutevoli. 

Un approccio sim-first aiuta i team a raggiungere più rapidamente tale autonomia. Con la simulazione robotica, gli sviluppatori possono addestrare, testare e convalidare il comportamento dei robot in digital twins fisicamente accurati, includendo rappresentazioni digitali di magazzini e fabbriche, utilizzando scenari di apprendimento robotico e test ripetibili prima della distribuzione. Lo stesso approccio è scalabile per le flotte multi-robot, in modo che possano comprendere e interagire con le strutture industriali sulla base di dati di produzione in tempo reale, input dei sensori e ragionamento.

La simulazione fornisce un ambiente virtuale sicuro e coerente in cui i modelli di base e delle politiche dei robot possono esercitarsi nelle attività, imparare dal feedback e migliorare il proprio comportamento prima di essere eseguiti nel mondo reale. È possibile ricostruire e renderizzare ambienti di addestramento realistici in NVIDIA Isaac Sim™ utilizzando le librerie NVIDIA Omniverse™ NuRec e aumentarli con la generazione di dati sintetici (SDG). Questi dati possono consistere in immagini testuali, 2D o 3D nello spettro visivo e non visivo e persino in dati sul movimento o sulla traiettoria, che possono essere utilizzati in combinazione con dati del mondo reale per addestrare modelli di IA fisica multimodali. 

La randomizzazione del dominio è un passaggio chiave nel flusso di lavoro SDG, in cui molti parametri in una scena possono essere modificati per generare un dataset diversificato. Tali parametri possono includere la posizione, il colore, le trame e l'illuminazione degli oggetti. Con NVIDIA Physical AI Data Factory, gli sviluppatori possono aumentare e valutare ulteriormente i dati di addestramento su larga scala utilizzando i modelli di base del mondo NVIDIA Cosmos™. Cosmos Transfer aggiunge variazioni realistiche ai dati esistenti, mentre Cosmos Evaluator e Cosmos Reason convalidano, selezionano e annotano automaticamente i risultati per far sì che solo i dati di alta qualità siano utilizzati per addestrare i modelli.

L’apprendimento robotico è fondamentale per garantire delle buone abilità delle macchine autonome in maniera continua ed efficiente nel mondo fisico. La simulazione ad alta fedeltà fornisce un campo di addestramento virtuale per i robot per affinare le loro abilità attraverso tentativi ed errori o l'imitazione. Ciò garantisce che i comportamenti appresi dal robot durante la simulazione siano più facilmente trasferibili al mondo reale.

NVIDIA Isaac™ Lab, un framework open source, unificato e modulare per l'addesrtramento robotico basato su NVIDIA Isaac Sim™, semplifica i flussi di lavoro comuni nella robotica, come l'apprendimento di rinforzo, l'apprendimento dalle dimostrazioni e la pianificazione del movimento. 

Gli sviluppatori possono inoltre sfruttare Newton, un motore di fisica open source accelerato da GPU basato su NVIDIA Warp per una simulazione ad alta velocità, fisicamente accurata e differenziabile.

I blueprint NVIDIA Isaac GR00T-Mimic e GR00T-Dreams basati su NVIDIA Cosmos creano dataset di movimento sintetici, ampi e diversificati, destinati all'addestramento. Questi set di dati possono quindi essere utilizzati per addestrare i modelli di fondazione aperti Isaac GR00T N all'interno di Isaac Lab, rendendo possibile il ragionamento umanoide generalizzato e una solida acquisizione delle competenze.

Il software-in-the-loop (SIL) è una fase critica di test e convalida nello sviluppo di software per sistemi di robotica fisica alimentati dall’IA. Nel SIL, il software che controlla il robot viene testato in un ambiente simulato piuttosto che nell’hardware fisico. 

Il SIL insieme alla simulazione garantisce una modellazione accurata della fisica del mondo reale, tra cui input dei sensori, dinamiche degli attuatori e interazioni ambientali.  Isaac Sim fornisce agli sviluppatori le funzionalità necessarie per testare il comportamento dello stack software dei robot durante la simulazione esattamente come farebbero sui robot fisici, risultando in una migliore validità dei risultati dei test.

Il SIL può essere esteso da un singolo robot a flotte di robot. I magazzini e altri impianti industriali sono ambienti logistici altamente complessi e presentano sfide come le fluttuazioni della domanda, i vincoli di spazio e la disponibilità della forza lavoro. Questi ambienti possono beneficiare dall'integrazione di flotte di sistemi robotici a supporto delle operazioni.

Mega, un Blueprint NVIDIA Omniverse™ che serve a sviluppare, testare e ottimizzare flotte di physical AI e di robot su vasta scala, trasforma le flotte in un ambiente digital twin prima di distribuirle nelle strutture reali. Grazie ai gemelli digitali basati su Mega, tra cui i simulatori del mondo che coordinano tutte le attività dei robot e i dati dei sensori, le aziende possono aggiornare continuamente i cervelli dei robot per ottenere percorsi e attività intelligenti per operazioni più efficienti.

La generazione di dati sintetici, l’apprendimento robotico e il test dei robot sono flussi di lavoro altamente interdipendenti e richiedono un’orchestrazione attenta attraverso un’infrastruttura eterogenea. Inoltre, per i flussi di lavoro robotici sono necessarie delle specifiche per gli sviluppatori in grado di semplificare la configurazione dell'infrastruttura, creare modi semplici per tracciare i dati e la linea dei modelli e fornire un modo sicuro e semplificato per distribuire i carichi di lavoro. 

NVIDIA OSMO è una piattaforma di orchestrazione cloud-native per scalare carichi di lavoro robotici complessi, multi-fase e multi-container on-premise e su cloud pubblici e privati. Con OSMO, puoi orchestrare, visualizzare e gestire una vasta gamma di attività. Queste includono tutto, dalla generazione di dati sintetici ai modelli di addestramento, fino all'implementazione di sistemi software-in-the-loop per umanoidi, robot mobili autonomi (AMR) e manipolatori industriali.