Come e in quali casi un GPU server si trasforma in un vantaggio per l’elaborazione di task paralleli massivi?
GPU, acronimo di Graphics Processing Unit, è una unità di elaborazione grafica con la specifica funzione di alleggerire il carico di lavoro della CPU, supportandola nei processi di elaborazione dati e di calcolo parallelo. Originariamente concepite come processori a sostegno delle operazioni grafiche, le GPU hanno con il tempo raccolto i frutti dell’evoluzione digitale prestandosi ad una platea più ampia di impieghi.
Grazie alla elevata quantità di core specializzati nell’accelerazione dell’esecuzione contemporanea delle istruzioni, la GPU sta infatti diventando sempre più rilevante per la gestione di progetti che richiedono alti livelli di efficienza tecnica.
Cloud Server GPU per l’accelerazione dei processi di AI e Machine Learning
Le istanze cloud GPU sono una rivoluzione a beneficio soprattutto dei campi dell’Intelligenza Artificiale, del Machine Learning, del Deep Learning e del Computer Vision. La loro integrazione con le infrastrutture cloud permette di beneficiare di una soluzione che sfrutta l’allocazione nei data center per fornire straordinarie performance di calcolo on demand e facilitare la gestione di enormi mole di dati.
Un GPU server risponde alle sempre più complesse esigenze degli algoritmi di AI attraverso un sistema basato sulla contemporaneità dell’elaborazione dei dati, e non sulla sequenzialità come tipicamente fatto dall’azione della sola CPU. Dunque, un server con GPU si rivela essere l’ambiente perfetto per lo sviluppo di processi di apprendimento all’avanguardia e di sofisticati calcoli simultanei.
Campi d’applicazione del GPU server
Il ricorso sempre più intensivo agli strumenti dell’AI da parte di un’estesa varietà di settori ha gettato le basi per un aumento di domanda nel mercato delle tecnologie GPU e del cosiddetto GPU Computing. A poter usufruire dei vantaggi della potenza di un GPU server sono realtà che vanno dall’economia alla scienza, dall’arte all’assistenza sanitaria, passando anche per l’online gaming.
Addestrare macchine autonome, gestire la complessità dei calcoli finanziari, elaborare grandissime quantità di dati riferiti alla ricerca scientifica, potenziare la diagnostica per immagini: sono solo alcuni esempi di implementazioni tecnologiche nell’ambito dell’HPC o High Performance Computing, che traggono concreti vantaggi dal meccanismo acceleratore innescato dalle istanze GPU.
Il GPU cloud Seeweb che potenzia il lavoro di Intelligenza Artificiale
Accessibilità e prezzi competitivi sono gli ingredienti alla base del nostro servizio di GPU server. Per garantire il massimo della potenza di calcolo simultaneo alle complesse elaborazioni richieste dai tipici workload di AI, le istanze GPU Seeweb dispongono delle migliori caratteristiche tecniche attualmente riscontrabili sul mercato. Basate su scheda grafica NVIDIA Quadro RTX 6000 e comprensive di 24GB di RAM e oltre 4.000 core CUDA, RT e Tensor, le nostre GPU rendono concreta l’accelerazione delle attività di Machine Learning e Deep Learning.
Al fine di soddisfare ogni tipo di esigenza, dalle più contenute alle più ingenti, Seeweb propone un account multi GPU server, ovvero un servizio di GPU computing da cui attivare on demand più server con GPU dedicata con una gestione estremamente flessibile dei progetti e del billing. Inoltre, non è prevista nessuna configurazione da parte dell’utente: driver e sistema sono configurati a priori dai nostri ingegneri, il che si traduce in un’istanza immediatamente pronta all’uso e in un ulteriore risparmio in termini di tempo e costi.
Perché la scelta di NVIDIA Quadro RTX 6000
Andiamo ora più nel dettaglio degli aspetti tecnici del GPU server Seeweb, che utilizza la scheda video NVIDIA QUADRO RTX6000. Perché abbiamo scelto questa scheda? Quali sono gli aspetti tecnologici più salienti?
Di fatto, Cloud Server GPU Server è un server dedicato virtuale, basato su hypervisor qemu e tecnologia passthrough.
Il passthrough è una tecnologia che consente di presentare direttamente una GPU PCI ad una macchina virtuale.
Il dispositivo si comporta come se fosse pilotato direttamente dalla VM e la VM rileva il dispositivo PCI come se fosse fisicamente connesso. Questo permette di non subire degradi di performance di alcun tipo. In alcuni contesti specifici, grazie alle tecnologie di virtualizzazione, volte a ottimizzare l’utilizzo della memoria e della cpu, si possono avere anche dei risultati migliori.
Caratteristiche tecniche della scheda RTX 6000
La scheda RTX 6000 si basa sull’architettura NVIDIA Turing e la piattaforma NVIDIA RTX, a seguire i dettagli:
| RTX 6000 | |
|---|---|
| Core CUDA per l’elaborazione in parallelo | 4,608 |
| NVIDIA Tensor Core | 576 |
| NVIDIA RT Core | 72 |
| Memoria della GPU | GDDR6 de 24 GB |
| RTX-OPS | 84T |
| Raggi calcolati | 10 Giga Rays/Sec |
| Prestazioni FP32 | 16,3 TFLOPS |
Perché abbiamo scelto la scheda RTX6000 e non una scheda di fascia superiore come la VT100?
Perché abbiamo deciso di portare sul mercato dei server una soluzione che sia altamente performante ma che sia anche economicamente conveniente, infatti la scheda in oggetto è quella attualmente presente sul mercato con il miglior rapporto prezzo/performance.
Benchmark
Abbiamo testato a fondo le GPU, analizzato le perfomance sia delle GPU utilizzate direttamente su server fisici che delle GPU utilizzate su server virtuali.
Possiamo affermare che non ci sono degradi di performace, se le GPU vengono configurate in modalità passthrough.
In particolare ci siamo soffermati sull’ utilizzo del benchmark ai-benchmark, pensato e progettato per testare le schede in ambito AI/ML (https://ai-benchmark.com/ranking.html)
Di seguito i risultato sul nostro prodotto, davvero molto buoni
* Platform: CentOS - Kernel 3.10.0-1160
* Python 3.6
* TF Version: 2.5.0
* GPU: NVIDIA Quadro RTX 6000
* GPU RAM: 22.3 GB
* CUDA Version: 11.3
* CUDA Build: V11.3.58
Device Inference Score: 13400
Device Training Score: 14332
Device AI Score: 27732
Hai bisogno di un servizio di GPU computing che si traduca in uno o più istanze cloud GPU per accelerare i tuoi calcoli e sfruttare al massimo i benefici dell’AI? E’ possibile farlo direttamente dal sito Seeweb ricevendo rapidamente un account da cui attivare in un click il servizio, con il nostro supporto dedicato sempre a disposizione per qualsiasi dubbio.
