Medooza: l’infrastruttura per il Calcolo Parallelo
#whenperformancematters
Il Cluster ideale per l’HPC
Medooza è il cluster HPC appositamente progettato in base alle richieste specifiche del cliente, caratterizzato da una forte ottimizzazione ingegneristica tra hardware e software, con configurazioni personalizzate e “standardizzate” per X86/64, GPU, storage e interconnessioni ad alta velocità.
Ingegnerizzata, non assemblata
Per garantire la massima affidabilità, Medooza è sottoposta a stress test di lunga durata in fase di ingegnerizzazione.
Prima della consegna, forniamo ai nostri clienti output test con dati sul collaudo e sulle prestazioni effettive del sistema.
Medooza si basa su una serie di componenti hardware e software opportunamente armonizzati dai nostri ingegneri più esperti e si presta a una continua integrazione di nuovi moduli e funzionalità di ultima generazione.
L’approccio MEDOOZA
Medooza offre ai cluster HPC un approccio intuitivo e di facile gestione tipico delle infrastrutture tradizionali ma con la flessibilità e la robustezza dei sistemi di ultima generazione.
AGNOSTICO
Sia per l’hardware che per il software, Medooza supporta la più ampia gamma possibile di CPU (ARM, x86_64), acceleratori (GPU, FPGA), reti (IB, RoCE) e dischi (NVMe, SSD) ad alte prestazioni oltre che i sistemi operativi più diffusi (Red Hat, Centos Stream).
MODULARE
Gli ambienti eterogenei di sviluppo utilizzati dall’utente sono flessibili e riconfigurabili. La loro gestione avviene tramite environment modules realizzati da E4 in funzione delle specifiche richieste del cliente.
MULTI CLUSTER
Medooza è nativamente multicluster. La stessa infrastruttura può essere utilizzata per servire più cluster all’interno della stessa rete locale.
A PROVA DI FUTURO
E’ possibile espandere il sistema HPC aggiungendo nuovi nodi (scale out), verificare lo stato dell’hardware e ricondizionare vecchi cluster ove opportuno.
Progettata per dare il meglio: sempre
Le applicazioni ingegneristiche richiedono approfondite analisi dei dati, visualizzazioni complesse, creazione di modelli e la loro sofisticata simulazione. Per questo vengono utilizzate componenti altamente performanti quali server accelerator (GPU e FPGA), networking e storage ad alte prestazioni.
Basandosi sulla propria esperienza ventennale in ambito accademico e industriale, E4 ingegnerizza, configura e implementa la propria soluzione cluster HPC utilizzando una suite di componenti opportunamente armonizzati secondo le linee guida del progetto denominato Medooza.
Scopri tutti i vantaggi
Layout della soluzione
I nodi sono configurati come Worker Node di back-end del cluster e ne è garantito l’accesso all’utente finale solo attraverso i servizi del Workload Manager (Slurm), installato e configurato per ottenere la massima efficienza d’utilizzo delle risorse in modalità batch (workload sottomessi dai nodi di login). La soluzione viene rilasciata con l’attivazione delle sole funzioni base di SLURM (gestione partizioni, gestione worker node, allocazione risorse computazionali, etc.), mentre le funzioni avanzate possono essere configurate richiedendo lo specifico servizio che verrà quotato a parte come add-on.
Tutti i nodi sono interconnessi attraverso una rete a bassa latenza, configurata per garantire alte prestazioni nell’acceso alle risorse di storage parallelo e alle applicazioni MPI, mentre una rete Ethernet è dedicata ai servizi e al management centralizzato dei nodi dell’infrastruttura.
L’area di storage ad alte prestazioni sarà implementata attraverso la soluzione BeeGFS.
CONFIGURAZIONE HEAD NODE
Gli head node sono configurati in un’infrastruttura di virtualizzazione iperconvergente, per ospitare in alta affidabilità sia i Login Node per l’accesso all’infrastruttura da parte degli utenti finali attraverso Command Line Interface (con protocollo SSH), sia i Service Node utili per il deployment dei seguenti componenti necessari per il corretto funzionamento del cluster:
- servizi di rete del Cluster (DHCP, TFTP, IP forwarding…)
- servizio per la gestione centralizzata degli utenti del Sistema (LDAP)
- configurazione dinamica dell’ambiente utente (environment modules)
- servizio di Workload manager (SLURM)
- servizio NFS per l’area di storage dedicata all’installazione centralizzata delle componenti software che dovranno essere resi disponibili su tutti i Compute Node
LOGIN
• Interfaccia della riga di comando per l’utente del cluster
• Permette l’accesso alle applicazioni e ai dati salvati sul file system condiviso dei nodi back-end
• Consente l’utilizzo in batch delle risorse di elaborazione back-end tramite i servizi Gestione risorse/programmazione
SERVICE
• Autenticazione utenti
• File System condiviso tra i nodi di calcolo
• Gestore risorse/Scheduler,
• Servizi gestione allarmi infrastruttura/Monitoring dei servizi
Caratteristiche tecniche
GESTITA
HPC resource manager & scheduler configurati per ottenere la massima efficienza dal cluster e avere pieno controllo sull’esecuzione dei workloads.
MONITORATA
Monitoraggio e Alerting centralizzato grazie a un unico e intuitivo punto di controllo che consente di verificare lo stato del cluster e ricevere avvisi in caso di anomalie.
STACK SOFTWARE
Lo stack software include i principali strumenti opensource per lo sviluppo e l’esecuzione di applicazioni ad alte prestazioni: compilatori, librerie scientifiche e numeriche, MPI, OpenMP.
COMPONENTI AGGIUNTIVE
Medooza può essere arricchita con una serie di funzionalità aggiuntive seguendo le esigenze specifiche di ogni progetto:
- Compilatori e librerie ottimizzati
- Alta affidabilità dei servizi HA
- File system parallelo e/o effimero
LINEE GUIDA
Medooza ha una architettura estremamente flessibile, personalizzabile adottando poche e semplici linee guida.
Vantaggi architetturali
Completamente realizzato in Open Source
Il cluster HPC di E4 è realizzato utilizzando tecnologie Open Source ampiamente validate dai nostri laboratori di ricerca e sviluppo e dall’utilizzo pluriennale delle nostre soluzioni con clienti sia in ambito accademico che aziendale.
Basato su building block
Il design di Medooza si basa su building block hardware validati nei nostri laboratori, configurati e gestiti con strumenti interni sviluppati in opensource.
Architettura Scale out
L’architettura di tipo scale out di Medooza consente di rispondere in modo trasparente e nativo a esigenze crescenti.
Flessibilità effettiva
E’ possibile aggiungere nuovi nodi di diversa tipologia grazie a una opportuna riconfigurazione dell’ambiente, senza dover adattare alcun aspetto dell’architettura di sistema.
Perchè scegliere la soluzione E4
UNICA
Gli ingegneri di E4 iniziano sempre da una fase iniziale di ascolto e acquisizione delle esigenze del cliente in termini di necessità specifiche, requisiti e aspettative, sulla base delle quali andranno a definire una soluzione espressamente progettata.
Questi sono i capisaldi dell’atteggiamento che manteniamo attraverso l’intero processo di progettazione della soluzione per ciascun cliente:
• ASCOLTO: comprendere le esigenze degli utenti finali
• ESPLORAZIONE: collaborare con gli ISV/partner specifici del dominio per ottimizzare ogni singolo aspetto
• SENZA VINCOLI: ricerca e selezione della migliore infrastruttura e dell’implementazione ideale per la soluzione
• VERSATILE: messa a disposizione di soluzioni on-premise e basate su cloud per la produzione, il test e la valutazione
VALIDATA
Tutti i sistemi che comporranno la soluzione, prima della configurazione, devono passare i check firmware, homogeneity, sanity e setup. Dopo di che vengono eseguite dei test di performances generali: HPL (High Performance Linpack) per la misura della potenza di calcolo della singola macchina in termini di FLOPs; STREAM per misurare la banda di accesso alla memoria espressa in MB/s; FIO per misurare la velocità di accesso ai dischi espressa in MB/s e IOPS. Dopo la messa in funzione della soluzione, sono eseguiti ulteriori test in accordo con il cliente per la verifica funzionale del sistema e il rispetto delle prestazioni dichiarate.
COLLAUDATA
I singoli componenti vengono collaudati tramite test di burn in sviluppati in E4 per un periodo fino a 120 ore per garantire un unico sistema perfettamente ingegnerizzato e funzionante abbattendo in questo modo sia il DoA (Dead on Arrival) che la “early failure rate” dei cluster HPC dopo il rilascio. Viene così ottenuto un significativo miglioramento dell’affidabilità complessiva della soluzione HPC marchiata E4.
SERVITA
E4 è fra le poche aziende che attualmente erogano servizi di altissimo livello in grandi infrastrutture sia accademiche che private oltre che in centri di ricerca internazionali di complessità e rilevanza nazionale e internazionale con i quali ha collaborato per la progettazione, configurazione e messa in esercizio di soluzioni con migliaia di nodi per elaborazioni complesse e altamente performanti.
Per questo E4 è in grado di fornire al cliente finale tutti i livelli di supporto e consulenza necessari a garantire il mantenimento dei propri sistemi di calcolo di qualunque ampiezza e complessità, in perfetto stato di efficienza:
• Level 1 & Level 2 Support, onsite service, 24/7 support
• Onsite specialists, infrastructure evolution, on-demand performance tuning
Moduli aggiuntivi | Nuove funzionalità in arrivo
Oltre alle funzionalità presenti nella configurazione base, Medooza può essere arricchita con una serie di funzionalità aggiuntive alcune integrate nella soluzione e altre disponibili on demand. Contattataci per conoscere le date di rilascio.
INTEGRATE
- Supporto UBUNTU
- Interfaccia Web Centralizzata per la gestione di Nodi e applicativi
- Aggiunta plug&play di nodi di calcolo alla soluzione esistente
OPZIONI ON DEMAND
- SLURM ADVANCED: accounting, billing, QoS, FairShare, etc.
- BACKUP/DR: Implementazione di soluzioni basate su FOG/Bacula
MODULI AGGIUNTIVI
- ICE4HPC
Interfaccia interattiva per l’accesso da web alle risorse di calcolo attraverso ambienti di lavoro con tecnologia notebook configurata per l’ambito HPC. Non supporta il GPU computing. - ICE4AI per HPC
Supporta il GPU Computing e include i principali framework per AI e Scalable Data Analytics come dask, Rapids, Tensorflow e Pytorch. Include una Interfaccia grafica da cui lanciare job slurm.
HIGH PERFORMANCE COMPUTING
