Le complessità del supercalcolo di oggi
La riga di comando è il modo in cui gli utenti comunicano tipicamente con i sistemi.
Non c’è interazione durante l’esecuzione del job e la valutazione di modelli e simulazioni può avvenire solo al termine dell’elaborazione.
La creazione di un prototipo per un nuovo modello implica operare senza feedback o visibilità in tempo reale, con conseguente potenziale perdita di tempo.
Nuove esigenze degli utenti
Per riuscire a gestire più requisiti di calcolo per uno stesso lavoro, è necessario inviare più job alle code. D’altra parte, i workload manager HPC non sono in grado di fornire supporto per l’elasting scaling.
Poiché scienziati e ricercatori utilizzano strumenti, applicazioni e linguaggi diversi per svolgere la propria attività, la loro esperienza d’uso è in genere ridotta, macchinosa e inefficiente.
L’ambiente di lavoro ideale per la data science e il computing scientifico
ICE4HPC abilita la tecnologia notebook nell’ambiente HPC, fornisce accesso Web alle risorse di calcolo per l’uso interattivo e si integra perfettamente con Slurm per gestire tutte le richieste in modo efficiente.
I servizi sono configurati per ottimizzare l’esperienza d’uso sia per gli utenti interattivi che per quelli batch.
INTERFACCIA AVANZATA
Accesso Web alle risorse di calcolo mediante notebook worspace configurati per l’ambiente HPC. Il sistema ICE4HPC offre agli utenti un’interfaccia grafica completamente integrata.
INTERATTIVITÀ
Utilizzando le tecnologie Jupyter, gli utenti hanno accesso alla creazione di notebook interattivi che consentono di esplorare i dati, eseguire simulazioni e visualizzare i risultati in tempo reale.
INTEGRAZIONE DEGLI STRUMENTI
ICE4HPC supporta i linguaggi di programmazione Python, R e Julia, oltre a framework all’avanguardia per l’IA e il BDA quali Tensorflow, Pytorch, MXNet, Rapids.AI e DASK.
SUPPORT SLURM
ICE4HPC fornisce risorse di calcolo da utilizzare in modo interattivo solo attraverso i servizi del workload manager Slurm.
Number crunching e visualizzazione scientifica dei dati dalla stessa interfaccia
Fornendo un’interfaccia intuitiva alle risorse di calcolo gestite da Slurm, ICE4HPC semplifica la sottomissione dei job e il monitoraggio del lavoro.
Gli aggiornamenti di stato in tempo reale possono essere visualizzati all’interno dei Jupyter notebook, consentendo agli utenti di seguire facilmente l’avanzamento delle loro simulazioni.
Questa maggiore visibilità snellisce il processo di monitoraggio e facilita un’esperienza più efficiente del workflow management.
Scopri i vantaggi
ICE4HPC in breve
- Ambiente di calcolo interattivo, basato su web browser
- Permette la riproducibilità di più formati documento (Codice | Prosa | Equazioni (LaTeX) | Visualizzazioni …)
- Supporta la multiutenza
- Fornisce accesso nativo web alle risorse HPC
- Consente la creazione di server monoutente on-demand
- Gestisce l’autenticazione (compresa la 2FA)
- Ogni utente dispone di un notebook server completo
- Supporta nodi di calcolo con scarsa o elevata memoria
- Supporta nodi di calcolo con GPU
- Completamente integrato con SLURM
Architettura
ICE4HPC è un’architettura multi-tier
Il front-end di ICE4HPC è ospitato dal nodo di login del cluster HPC o da un sistema dedicato (fisico o virtuale), che ha una configurazione di rete simile a quella del nodo di login.
Le sessioni interattive degli utenti sono ospitate dai nodi di back-end, di solito su una partizione Slurm dedicata.
Dai nodi back-end è possibile inviare lavori ordinari agli altri nodi di calcolo.
La configurazione di Slurm e i nodi di calcolo costituiscono il back-end di ICE4HPC.
Come funziona
L’integrazione di ambienti di calcolo interattivi in un cluster HPC spesso include estensioni che consentono agli utenti di effettuare il login, selezionare correttamente le risorse e lanciare flussi di lavoro HPC direttamente dai loro Jupyter notebook.
Questi flussi di lavoro vengono inviati allo scheduler Slurm in background. Questa configurazione semplifica notevolmente il processo di avvio e gestione dei flussi di lavoro HPC, consentendo agli utenti di concentrarsi sui dati e sulle simulazioni piuttosto che sull’infrastruttura sottostante.
Ambienti di lavoro disponibili
ICE4HPC supporta i linguaggi di programmazione Python, R e Julia oltre a molti framework all’avanguardia per l’intelligenza artificiale e l’analisi dei Big Data qualil Tensorflow, Pytorch, MXNet, Rapids.AI e DASK.
Questa sinergia consente di accelerare le scoperte e le indagini scientifiche, facilitando un lavoro di ricerca più efficiente e produttivo.
Versioni disponibili
ICE4HPC – FULL VERSION
- Fornisce all’utente finale un’interfaccia per la selezione delle risorse di calcolo da allocare
- Supporta il GPU computing
- Include il supporto per i principali framework per l’analisi dell’AI e dei Big Data
- Include un’interfaccia grafica da cui lanciare lavori Slurm standard
ICE4HPC – LITE VERSION
Fornisce una gamma selezionata di funzionalità:
- L’utente finale può scegliere le risorse da allocare solo sulla base di profili predefiniti
- Non include framework per l’AI e l’analisi dei Big Data
- Non supporta il GPU computing
- Abilita esclusivamente un ambiente interattivo progettato per l’analisi dei dati e la visualizzazione scientifica
INTERACTIVE COMPUTING ENVIRONMENT FOR HPC
