NVIDIA Jetson: architettura, funzionamento e relative applicazioni

La piattaforma leader al mondo come NVIDIA Jetson è una sequenza di schede di calcolo incorporate che viene utilizzata principalmente in macchine autonome e altro applicazioni integrate . Questa scheda contiene principalmente moduli Jetson, che sono computer ad alte prestazioni. Jetson è adatto a un software AI simile e a un flusso di lavoro nativo per il cloud che viene utilizzato su altre piattaforme NVIDIA e fornisce prestazioni a basso consumo energetico ai clienti per creare macchine autonome basate su software. NVIDIA Jetson viene utilizzato per applicazioni di visione artificiale. Quindi, questo articolo discute una panoramica di NVIDIA Jetson - funzionante e delle sue applicazioni.

Cos'è NVIDIA Jetson?

NVIDIA Jetson è un avanzato sistema di incorporamento scheda che viene utilizzata per creare prodotti IA innovativi in ​​diversi settori. NVIDIA Jetson è una delle principali piattaforme hardware che è molto utile per gli appassionati di tecnologia e anche per gli studenti per ottenere un'esperienza pratica attraverso una serie di progetti IA innovativi. Questa scheda è una scheda molto efficiente per l'intelligenza artificiale che include computer edge modulari, con fattore di forma ridotto e ad alte prestazioni. Inoltre, questa scheda contiene anche JetPack SDK utilizzato per l'accelerazione del software e un ecosistema completo per aiutare ad aumentare la procedura di sviluppo di progetti AI personalizzati.

Architettura NVIDIA Jetson

Sappiamo che il modulo Nvidia Jetson di Nvidia è una sequenza di schede informatiche integrate. Tutti i modelli di Jetson TX1, TX2 e TK1 sono dotati di un processore SoC o Tegra di Nvidia che incorpora una CPU con architettura ARM. Qui, Jetson è un sistema a basso consumo progettato principalmente per accelerare le applicazioni di machine learning.

L'architettura NVIDIA Jetson Xavier NX è mostrata di seguito. È il supercomputer AI più avanzato e piccolo utilizzato anche per i dispositivi di edge computing robotica autonoma . Questo modulo ha la capacità di implementare prestazioni di classe server all'interno di un solido fattore di forma 70x45 mm e fornisce anche fino a 21 TOPS di elaborazione inferiore a 15 W di potenza, altrimenti fino a 14 TOPS di elaborazione inferiore a 10 W.

Il diagramma sopra contiene un NVIDIA Volta a 384 core incorporato GPU inclusa una CPU NVIDIA Carmel ARMv8.2 a 64 bit a 6 core, 48 Tensor Core, 8 GB a 128 bit LPDDR4x, codificatori e decodificatori video 4K, doppio motore NVDLA (NVIDIA Deep Learning Accelerator), fotocamera per un massimo di sei istantanee ad alta risoluzione flussi di sensori, doppia porta display o display HDMI 4K, espansione PCIe generazione 3, USB 3.1 e GPIO con bus I2C, SPI, I2S, UART e CAN.

Le specifiche di NVIDIA Jetson includono quanto segue.

• La potenza è in modalità 10W o ​​15W e ingresso 5V.
• La CPU è NVIDIA Carmel a 64 bit ARMv 8.2 a 1400 MHz a 6 core.
• La GPU è NVIDIA Volta a 384 core a 1100 MHz tramite 48 Tensor Core.
• DL è motori Dual NVDLA.
• La memoria è 8 GB 128 bit LPDDR4x a 1600 MHz.
• Memoria eMMC 5.1 da 16 GB.
• La fotocamera è 12x MIPI CSI-2 corsie | Telecamere 3×4 o 6×2.
• Fino a 6 telecamere (36 tramite canali virtuali).
• Termiche da -25°C a 90°C.
• Il display è DP 1.4 o eDP 1.4 o HDMI 2.0 a/b a 4Kp60.
• Ethernet è 10 o 100 o 1000 BASE-T Ethernet.
• USB 3.1 e USB 2.0.

Questo modulo è supportato dall'intero stack software CUDA-X di NVIDIA e anche da JetPack SDK per lo sviluppo AI. Esegue framework di apprendimento automatico molto popolari e DNN difficili su diversi flussi di sensori ad alta risoluzione contemporaneamente, oltre a visione artificiale, grafica e applicazioni multimediali in tempo reale all'interno di un ambiente Linux desktop completo.

Al momento, gli sviluppatori hanno iniziato a progettare applicazioni AI per Jetson Xavier NX con l'aiuto del Jetson AGX Xavier Developer Kit. L'applicazione di una patch del modello del dispositivo vicino a JetPack farà funzionare il dispositivo come un Jetson Xavier NX. Ciò modificherà il numero di core GPU e CPU ottenibili tramite software e imposterà le frequenze di clock e le tensioni dei core in tutto il sistema.

La patch è completamente reversibile e viene utilizzata per approssimare le prestazioni di Jetson Xavier NX. Questo modulo classificherà le modalità di alimentazione predefinite di 10 W e 15 W raggiungendo prestazioni di picco tra 14 e 21 TOPS in base alla modalità attiva. Lo strumento nvpmodel viene utilizzato per gestire i profili di potenza per regolare le frequenze CLK più elevate per GPU, CPU, clock SoC vari e controller di memoria insieme ai vari cluster CPU.

In base al carico di lavoro, il regolatore DVFS (Dynamic Voltage & Frequency Scaling) bilancia le frequenze in runtime fino ai loro limiti più alti come descritto dal modello nvp attivo, quindi l'utilizzo dell'energia viene ridotto in idle e in base al funzionamento del processore. Lo strumento nvpmodel aiuta a creare e modificare nuove modalità di alimentazione basate su TDP e requisiti dell'applicazione.

Il modulo NVIDIA Jetson porta le prestazioni del supercomputer all'edge all'interno di un SOM (system-on-module) con fattore di forma ridotto. Pari a 21 TOPS di calcolo accelerato invia la potenza per eseguire le attuali reti neurali in parallelo ed elaborare i dati da vari sensori ad alta risoluzione. Questo modulo è ideale per sistemi IA ad alte prestazioni come strumenti medici, robot commerciali, sistemi integrati AIoT, telecamere intelligenti, ispezione ottica automatizzata, sensori ad alta risoluzione, fabbriche intelligenti, ecc.

Software

Il modulo NVIDIA Jetson è semplicemente supportato attraverso architetture software combinate in modo da rendere il lavoro degli sviluppatori di software molto più semplice. Questo approccio combinato risparmia semplicemente allo sviluppatore il fastidio della codifica ripetitiva migliorando al contempo le loro formazioni su altri moduli Jetson.

L'SDK NVIDIA JetPack è disponibile con un sistema operativo Linux, librerie e API accelerate CUDA-X per diversi campi di machine learning come computer vision, deep learning, ecc. Supporta anche framework di machine learning come Caffe, TensorFlow, Keras e OpenCV computer vision biblioteche.
NVIDIA Jetson offre diversi strumenti software per i suoi moduli che sono discussi di seguito.

Kit SDK NVIDIA JetPack

Software della piattaforma Jetson Bundle come TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV e Visionworks sono tutti assemblati su L4T attraverso il kernel LTS Linux.

Pacchetto driver NVIDIA Jetson Linux

Fornisce il kernel Linux, i driver NVIDIA, il bootloader, il file system di esempio, le utilità di flashing e molti altri per la piattaforma Jetson.

SDK NVIDIA DeepStream

È un insieme di API e librerie per assistere gli sviluppatori nella progettazione e nell'organizzazione di solide soluzioni IVA (intelligent video analytics) sulla piattaforma Jetson. Viene utilizzato per creare applicazioni complesse come la codifica, l'acquisizione di immagini, la decodifica, l'inferenza con TensorRT, ecc.

SDK NVIDIA Isacco

È un insieme di librerie, API, driver e altri strumenti che aggiungeranno l'intelligenza artificiale ai robot di nuova generazione per la navigazione, la percezione e la manipolazione. Quindi aiuta a creare e implementare la robotica basata sull'intelligenza artificiale.

Tipi di NVIDIA Jetson

Il modulo NVIDIA Jetson viene fornito con memoria, GPU, CPU, interfacce ad alta velocità, gestione dell'alimentazione, ecc. Questi moduli sono disponibili in diverse prestazioni, efficienza energetica e variazioni dei fattori di forma per renderli utilizzati in vari settori. Sono disponibili diversi dispositivi NVIDIA Jetson che sono discussi di seguito.

NVIDIA Jetson Nano

Il modulo NVIDIA Jetson Nano è adatto a sviluppatori o studenti e anche ai principianti perché è progettato principalmente per l'apprendimento e l'insegnamento pratici. Le dimensioni di questo modulo sono ridotte, tuttavia la sua efficienza energetica e le sue prestazioni sono elevate per renderlo perfetto per l'esecuzione simultanea di più reti neurali parallele, carichi di lavoro AI ed elaborazione dati da sensori ad alta risoluzione. Pertanto, il modulo Jetson Nano è un dispositivo edge molto popolare che viene utilizzato per realizzare prodotti e soluzioni AI integrati.

Questo modulo è perfetto per le applicazioni di visione artificiale basate sull'intelligenza artificiale ed esegue attività di visione artificiale come il rilevamento di oggetti, la segmentazione delle immagini, la classificazione delle immagini, ecc. Questo modulo è molto compatibile con il software di visione artificiale open source e le librerie di apprendimento automatico OpenCV.

Serie NVIDIA Jetson TX2

Il modulo della serie NVIDIA Jetson TX2 è progettato in formato carta di credito. Le caratteristiche di questo modulo includono principalmente una GPU NVIDIA Pascal, fino a 8 GB di memoria, 59,7 GB/s di larghezza di banda di memoria e interfacce hardware standard. Questo modulo offre prestazioni fino a 2,5 volte superiori rispetto al modulo NVIDIA Jetson Nano.

Questo modulo esegue in modo molto efficiente reti neurali profonde su dispositivi edge per ottenere una maggiore precisione. I moduli disponibili nella serie includono principalmente Jetson TX2 4GB, Jetson TX2i, Jetson TX2 e Jetson TX2 NX. Il modulo NVIDIA Jetson TX2 NX condivide semplicemente la compatibilità pin e fattore di forma attraverso Jetson Xavier NX e Jetson Nano.

I restanti tre moduli condivideranno il fattore di forma del modulo Jetson TX2 originale. L'utilizzo della serie TX2 varia semplicemente in vari settori come l'agricoltura, la produzione, le scienze della vita, la vendita al dettaglio, ecc. Il modulo Jetson TX2i dei moduli rimanenti è più adatto per dispositivi AI ad alte prestazioni come apparecchiature mediche, telecamere per la visione artificiale e robot industriali perché del suo forte design.

Questo modulo è un'appliance di elaborazione AI incorporata molto veloce che offre un'elevata efficienza energetica come 7,5 W, capacità di supercomputer principalmente per dispositivi AI edge e anche varie interfacce hardware da incorporare facilmente in diversi prodotti e fattori di forma.

NVIDIA Jetson Xavier NX

Il modulo NVIDIA Jetson Xavier NX è molto piccolo rispetto a una carta di credito con prestazioni elevate ed efficienza energetica. Questo è anche noto come il più piccolo supercomputer AI per sistemi edge e embedded al mondo. Questo modulo aiuta in particolare a gestire sistemi di intelligenza artificiale completi.

Le funzionalità di Jetson Xavier NX supportano anche le tecnologie native del cloud, quindi è facile per gli sviluppatori aggiornare e gestire i prodotti AI. Questo modulo supporta tutti i modelli e i framework AI più diffusi. Quindi questo modulo si adatta perfettamente a sistemi di intelligenza artificiale ad alte prestazioni come fotocamere intelligenti, sistemi di visione ad alta risoluzione basati su intelligenza artificiale, droni, robot commerciali o apparecchiature mediche.

Il modulo NVIDIA Jetson Xavier NX offre 21 operazioni Tera al secondo o TOPS per eseguire un carico di lavoro AI corrente consumando 10 W di potenza. Il fattore di forma di questo modulo è più compatto rispetto a una carta di credito. Il modulo Xavier NX esegue diverse reti neurali contemporaneamente ed elabora i dati provenienti da diversi sensori ad alta risoluzione. Questo tipo di modulo viene utilizzato per progettare applicazioni per dispositivi embedded e edge computing che necessitano di prestazioni elevate sebbene con vincoli significativi di peso, dimensioni e potenza.

Serie NVIDIA Jetson AGX Xavier

Il modulo NVIDIA Jetson AGX Xavier Series è sviluppato principalmente per macchine intelligenti autonome di nuova generazione. Questo modulo offre fino a 32 operazioni TOPS o Tera al secondo di prestazioni AI quando si utilizzano solo 10 watt. Lo sviluppatore di software è semplicemente autorizzato a organizzare rapidamente le reti neurali con una serie di strumenti software AI di NVIDIA.

Questo modulo fornisce varie specifiche e funzionalità di sicurezza funzionale in modo che gli sviluppatori creino prodotti certificati per la sicurezza o industriali. Le elevate prestazioni di questo modulo possono renderli adatti a numerose macchine autonome come robot logistici e industriali, sistemi di fabbrica e grandi droni.

Kit per sviluppatori Jetson Xavier NX

Il kit per sviluppatori jetson xavier nx include un modulo Xavier NX solido ed efficiente dal punto di vista energetico utilizzato per dispositivi edge basati su AI. Questo modulo ha alcune funzionalità come il supporto cloud-native e accelera lo stack del software NVIDIA in soli 10 W con prestazioni 10 volte superiori rispetto a Jetson TX2. Questo kit per sviluppatori viene utilizzato dai produttori di macchine intelligenti, startup di IA e sviluppatori di applicazioni per progettare prodotti moderni con inferenza IA compatta e altamente accurata e fattore di forma ad alta efficienza energetica.

Jetson AGX Xavier industriale

Il modulo Jetson AGX Xavier Industrial fa parte della serie AGX Xavier. Il design di questo modulo è un fattore di forma compatibile con i pin che controlla i modelli IA più attuali nelle applicazioni più impegnative. Questo modulo fornisce vibrazioni estese, urti, specifiche di temperatura, funzioni di sicurezza avanzate, fino a 4 volte la memoria e 20 volte le prestazioni del modulo TX2i.

Questo modulo è molto utile per i progettisti per progettare automazione, robotica e altri prodotti intelligenti. Inoltre, progetta anche prodotti robusti e certificati per la sicurezza per offrire prestazioni elevate per applicazioni funzionali e di sicurezza industriali, integrate con IA in un design di fattore di forma robusto ed efficiente dal punto di vista energetico.

Vantaggi

IL vantaggi di NVIDIA Jetson include il seguente.

• NVIDIA Jetson è adatto a studenti, singoli sviluppatori e diverse organizzazioni.
• La piattaforma Jetson è molto popolare perché offre vari vantaggi come flessibilità modulare, software unificato e supporto per tecnologie native del cloud.
• Questa scheda fornisce una serie di moduli molto utili per tutto, dalle applicazioni AI di base a dispositivi basati su AI molto complessi.
• Questa scheda è alimentata da un'architettura software unificata che aiuta gli sviluppatori dalla codifica ripetitiva. Una volta che hanno bisogno di capacità AI/ML, possono includere un modulo Jetson correlato al dispositivo e si occupa del lavoro pesante.
• La piattaforma NVIDIA Jetson supporta semplicemente tecnologie e flussi di lavoro nativi del cloud come l'orchestrazione e la containerizzazione, offrendo agli sviluppatori la possibilità di sviluppare rapidamente ed espandere i prodotti AI.
• L'SDK NVIDIA JetPack è disponibile con un sistema operativo Linux, API e librerie di accelerazione CUDA-X per una varietà di domini di machine learning come visione artificiale e deep learning. Fornisce inoltre supporto per framework di machine learning come Caffe e Keras, librerie di visione artificiale TensorFlow e OpenCV.

Svantaggi

Ha pochissimi svantaggi tenendo conto del prezzo

• Il modulo nano NVIDIA Jetson non è disponibile con Wi-Fi all'interno.
• Il modulo nano NVIDIA Jetson include solo due pin PWM sulla scheda.

Applicazioni

Le applicazioni di NVIDIA Jetson includono quanto segue.

• Il modulo NVIDIA Jetson offre sistemi di incorporamento superiori che vengono utilizzati per realizzare prodotti AI per una varietà di scenari. Si tratta di un modulo ad alta efficienza energetica utilizzato per l'intelligenza artificiale che include computer edge ad alte prestazioni, modulari e con fattore di forma ridotto.
• Le schede Nvidia Jetson sono progettate principalmente per l'uso in sistemi embedded come droni, robot e altri dispositivi che richiedono un'elaborazione potente all'interno di un fattore di forma ridotto. Le applicazioni comuni delle schede Jetson includono principalmente dispositivi medici, veicoli autonomi, digital signage, visori AR/VR, applicazioni smart city, ecc.
• Questo modulo supporta architetture software unificate per semplificare il lavoro degli sviluppatori di software.
  I moduli e i dispositivi NVIDIA Jetson sono dispositivi edge ottimizzati utilizzati per sviluppare sistemi Edge AI.
• NVIDIA Jetson Nano Developer Kit è un computer molto potente e piccolo che esegue diverse reti neurali in parallelo per varie applicazioni come il rilevamento di oggetti, la classificazione delle immagini, l'elaborazione vocale e la segmentazione.
• Il modulo NVIDIA Jetson Nano è perfetto per le applicazioni di visione artificiale basate sull'IA ed eseguono attività di visione AI come la segmentazione dell'immagine, la classificazione dell'immagine, il rilevamento di oggetti, ecc.
• I moduli Nano di NVIDIA Jetson offrono nuove incredibili funzionalità a migliaia di sistemi IA a basso consumo energetico e di piccole dimensioni
• Il modulo NVIDIA Jetson Nano è compatibile con le librerie di machine learning OpenCV e il software di visione artificiale open source.

Q). Qual è il consumo energetico dei moduli Jetson?

UN). Il consumo energetico del modulo Jetson varia a seconda del modello e dell'utilizzo. Il modulo Jetson Xavier, ad esempio, ha un consumo energetico tipico di circa 15w a 30w, mentre il Jetson TX2 può consumare tra 7w e 15w.

Q). Jetson può essere utilizzato per il rilevamento e il tracciamento di oggetti in tempo reale?

UN). Sì, Jetson Platforms è in grado di gestire il rilevamento e il tracciamento della vista. Il modulo nano è una GPU ad alte prestazioni con piattaforma di edge computing che può essere utilizzata principalmente per il rilevamento, il conteggio e il tracciamento.

Q). Con quali tipi di sensori può interfacciarsi Jetson?

UN). I sensori di visione vengono utilizzati per interfacciare Jetson con varie interfacce per fotocamere come USB, MIPI CSI ed Ethernet. Possono anche interfacciarsi con lidar, sensori a ultrasuoni e altri tipi utilizzando i diversi tipi di interfaccia come I2C, SPI ecc.

Q). Qual è la differenza tra Jetson e Raspberry Pi?

UN). La principale differenza tra queste due schede è; NVIDIA Jetson è stata sviluppata per gestire attività di visione artificiale e IA altamente impegnative, mentre la scheda Raspberry Pi 4 ha una GPU multimediale a basso consumo utilizzata per l'informatica e l'istruzione generiche. Jetson può essere utilizzato per funzionalità più avanzate come la decodifica e la codifica video con accelerazione hardware utilizzando la sua potente GPU (unità di elaborazione grafica) e CPU (unità di elaborazione centrale).

Q). Jetson può essere utilizzato per applicazioni di robotica autonoma?

UN). La robotica autonoma e industriale di domani sarà guidata dalla potenza attraverso NVIDIA Jetson per macchine intelligenti e robotica.

Così, questo è una panoramica di NVIDIA Jetson – vantaggi e le sue applicazioni. Questo modulo è la piattaforma leader in tutto il mondo utilizzata dagli sviluppatori per realizzare prodotti IA avanzati in tutti i settori. Questi moduli sono utilizzati anche da studenti e anche appassionati per acquisire esperienza pratica nell'apprendimento dell'IA per realizzare progetti straordinari. La piattaforma di Jetson comprende principalmente piccoli kit per sviluppatori e moduli di produzione ad alta efficienza energetica. Ecco una domanda per te, cos'è NVIDIA?