Presentiamo ai nostri lettori un interessante e piacevole articolo di Raffaele Montella, Assistant Professor di Informatica, presso il Dipartimento di Scienze e Tecnologie dell’Università di Napoli “Parthenope”, che racconta la storia di BlackJeans, un sistema HPC usato per le previsioni meteorologiche operazionali.

La storia di come il Centro per il Monitoraggio e la Modellistica Marina e Atmosferica (CMMMA, http://meteo.uniparthenope.it , comunemente chiamato meteo@uniparthenope, come il nome della app per dispositivi mobili) sia diventato uno dei principali e più attivi centri italiani di previsione meteo locali, nonché la sede delle proprie risorse di calcolo ad alte prestazioni, è già stata raccontata molte volte. Ma consideriamo questa come la versione estesa, una sorta di vecchio film da guardare durante le fredde notti invernali, davanti al fuoco del camino, aspettando la fine di una tempesta. 

Come tutte le storie di questo tipo, l’inizio è ambientato in un garage o in uno scantinato o in un mix tra i due, e questa non fa eccezione: è un tardo pomeriggio piuttosto freddo, poco prima della vigilia di Natale del 1997, quando una giovanissima versione di me stesso, curiosa, stanca, e soddisfatta del proprio contributo alla causa, assiste ad un evento divenuto leggendario nella mia memoria: l’accensione del mio primissimo Beowulf, in un laboratorio del Centro per il Calcolo Parallelo ed i Supercalcolatori (CPS, all’epoca parte del CNR, Consiglio Nazionale delle Ricerche).

È stato fantastico per me, all’epoca poco più che uno studente, collaborare con persone più esperte per mettere insieme 16 desktop Pentium Pro e una Ethernet da 100 megabit con Linux, per calcolare moltiplicazioni matrice-matrice nel più breve lasso di tempo mai visto sino a quel momento, ma, che ci crediate o no, non era nulla se paragonato a quello che ho provato circa un decennio e molti megaflop dopo, quando BlackJeans ha eseguito il suo primo job. 

“Provate a immaginare una sala grande come un teatro, tranne per il fatto che le gallerie percorrono lo spazio solitamente occupato dal palcoscenico. Le pareti di questa camera sono dipinte per formare una mappa del globo. Il soffitto rappresenta le regioni polari settentrionali, l’Inghilterra è nelle logge, i tropici nella galleria superiore, l’Australia più in basso e l’Antartide al posto dell’orchestra.“

Queste le parole, quasi scolpite nella pietra, scritte da Lewis Fry Richardson nel 1922, sono il mio oopart, reperto fuori posto, preferito: questo genio della matematica dell’inizio del secolo scorso è colui che ha inventato la previsione numerica del tempo atmosferico. Sebbene la sfortuna abbia rovinato la sua vita e la sua carriera accademica, dato che essere un pacifista e una persona con orientamento sessuale diverso dalle aspettative in una Gran Bretagna di inizio ‘900 era davvero molto complicato, lui è il mio supereroe per un unico semplice motivo: parla di computer che risolvono equazioni in parallelo, in un’epoca lontana dal calcolo digitale e molto vicina all’era vittoriana, fonte di ispirazione dello steampunk.

“Una miriade di computer lavorano sulla previsione meteorologica della propria area di competenza, ma ogni computer si occupa solo di un’equazione o di una parte di un’equazione. Il lavoro di ogni regione della mappa è coordinato da un funzionario di grado superiore. Numerosi piccoli segnali luminosi visualizzano i valori istantanei in modo che i computer vicini possano leggerli. Ogni numero viene quindi visualizzato in tre zone adiacenti in modo da mantenere la comunicazione con il Nord e il Sud della mappa.”

Questo rende l’articolo di Richardson la mia fonte di citazioni preferita.

Sfortunatamente per Lewis, al momento dei suoi scritti, la “miriade di computer” erano solo esseri umani dediti ai calcoli manuali. Ma questo non è ciò che è successo un giovedì mattina nell’ottobre del 2010: i 144 core CPU e gli oltre 5000 core GPU (sì, una miriade di computer erano finalmente una cosa reale) eseguirono i primi cicli di clock operativi: l’HPC-GPU BlackJeans di E4 Computer Engineering, messo in piedi grazie a un consistente finanziamento da parte della Regione Campania, era finalmente attivo e funzionante, pronto a produrre previsioni meteo locali operazionali ad alta risoluzione per il CCMMMA (Centro Campano per il Monitoraggio e la Modellistica Marina e Atmosferica) dell’Università degli Studi di Napoli Parthenope.

Il CCMMMA o “Il Centro Meteo”, come solitamente viene chiamato, è stata la realizzazione di un sogno per il prof. Giancarlo Spezie, professore ordinario di fama mondiale di oceanografia e veterano delle esplorazioni antartiche, in qualità di direttore, e per il prof. Giulio Giunta, professore ordinario di calcolo scientifico, designato come responsabile scientifico. Oltre a queste due forti personalità in ambito scientifico, ci lavorano un gruppo di ricercatori esperti in meteorologia, oceanografia, calcolo e informatica. Sono molto soddisfatto della tesi del mio dottorato di ricerca, nella quale, alcuni anni prima, ho trattato di modellazione ambientale e di come le tecniche di grid computing possano funzionare come supporto alla catena modellistica operazionale per le numerose e differenti tipologie previsioni atmosferiche e marine richieste dal Centro Meteo. 

Sì, ci sono! Niente più complicati cluster Beowulf fatti in laboratorio o fatti in casa, o risorse computazionali raffazzonate fra quelle poco utilizzate, per eseguire le mie catene modellistiche di previsione meteo/marina come fatto, a volte ufficialmente, a volte… non proprio, sin dal 2001.

BlackJeans è l’abbreviazione di HPC-GPU BlackJeans, perché ognuno dei suoi 12 nodi di elaborazione è dotato di una scintillante (per l’epoca), NVidia Tesla M2050, con 448 core CUDA pronti ad accelerare un paio di CPU Xeon a 6 core. Lo storage da 14 TB e un web server dedicato, progettato per ospitare i servizi dedicati a rendere aperte al pubblico le risorse di calcolo, completano il design di BlackJeans.

Aspettate: ho già detto perché la bellezza computazionale del Centro Meteo è stata chiamata BlackJeans? Apparentemente no, ma la storia nella storia è carina da raccontare e risale al novembre 2007, quando ho avuto la possibilità di visitare l’edificio che ospitava il supercomputer Blue Gene P, alcune settimane prima della sua uscita pubblica.

Quasi contemporaneamente, avevo dovuto acquistare alcune risorse di calcolo per il mio laboratorio (High Performance Scientific Computing SmartLab, http://hpsc.uniparthenope.it), ma i fondi erano insufficienti per acquistare un cluster HPC progettato professionalmente, quindi, ancora una volta, presi dei componenti hardware pronti all’uso da assemblare in Dipartimento. Mi sentivo come se indossassi abiti casual in un contesto dove tutti indossano giacca e cravatta: ho chiamato questo cluster BlueJeans: Blue (come Blue Gene) ma Jeans, invece di Gene, per via del costo accessibile (ovviamente, ero consapevole delle prestazioni di calcolo attese). Mesi dopo, un nuovo Beowulf HPC è stato assemblato e riempito con schede NVidia con GPU a basso costo (ma che supportavano CUDA). In onore del colore del marchio dei device grafici e in seguito alla prima convenzione di denominazione del cluster, il cluster è stato chiamato GreenJeans. È pleonastico raccontare la storia di un terzo cluster, ma il suo nome fu RedJeans.

Finalmente, un vero sistema HPC è atterrato nella nostra struttura: potente, scintillante ed esteticamente elegante perchè scuro come la notte. BlackJeans, pronto a farci conoscere le previsioni meteo, con una risoluzione operativa senza precedenti: fino a 1 km!

Dal momento del lancio nell’ottobre 2010, la giornata lavorativa di BlackJeans incomincia quando le condizioni iniziali e al contorno prodotte dal NCEP Global Forecast System (GFS) sono disponibili per il download. Sì, perché sono passati una decina d’anni, ma BlackJeans è ancora al lavoro, poco invecchiato, ma ancora più potente grazie ad un piano di upgrade e ad azioni di manutenzione periodica, pienamente supportate dal team di Ateneo e, soprattutto, dagli ingegneri del team E4.

Una volta scaricati i dati GFS, il flusso di lavoro di calcolo basato sul motore DagOnStar (https://github.com/dagonstar ) inizia a eseguire la pre-elaborazione dei dati necessaria al Weather Research and Forecasting (WRF). Si tratta di un sistema di previsione meteorologica numerica su mesoscala di nuova generazione utilizzato in tutto il mondo, progettato sia per la ricerca atmosferica che per le applicazioni di previsione operativa. È dotato di due core dinamici, un sistema di assimilazione dei dati e un’architettura software che supporta il calcolo parallelo e l’estensibilità del sistema. Il modello è usato per una vasta gamma di applicazioni meteorologiche su una scala che varia da decine di metri a migliaia di chilometri (https://www.mmm.ucar.edu/weather-research-and-forecasting-model ). Il nostro attuale modello di implementazione è progettato per raggiungere la risoluzione al suolo di 1 Km nell’Italia meridionale (d03_WRF ), mentre 5 Km è la risoluzione sull’Italia e sui mari circostanti (d02_WRF) e 25 Km nell’area euro-mediterranea (d01_WRF). BlackJeans esegue una corsa al giorno con i dati inizializzati a 00 Zulu, prevedendo le successive 168 ore.

Ogni 24 ore simulate, i risultati vengono pubblicati e messi a disposizione degli utenti o dei modelli accoppiati. Chiamiamo questa configurazione “previsione di streaming”. Ogni giorno la previsione è portata avanti di 24 ore, mentre la simulazione delle 24 ore precedenti viene eseguita utilizzando la rianalisi come condizioni iniziali e al contorno. I risultati WRF vengono spostati come se fossero nello storage accessibile ad alte prestazioni intimamente connessa al web server insieme a un output più elaborato proiettato in latitudine/longitudine regolare e arricchito da variabili diagnostiche.

I risultati giornalieri del WRF vengono utilizzati per alimentare altri modelli al fine di produrre previsioni sulla qualità marina e dell’aria. Al momento in cui scriviamo, stiamo configurando nuovamente i suoi modelli per la qualità dell’aria, mentre le previsioni delle onde marine guidate dal vento e le dinamiche marine costiere vengono prodotte in modo routinario.

WaveWatch III (WW3) è un modello di onde di terza generazione sviluppato presso NOAA/NCEP, nello stesso spirito del modello WAM. È un ulteriore sviluppo del modello WaveWatch, come sviluppato presso la Delft University of Technology, e WaveWatch II sviluppato presso la NASA, Goddard Space Flight Center. WaveWatch III, tuttavia, differisce dai suoi predecessori in molti punti importanti come le equazioni che governano, la struttura del modello, i metodi numerici e le parametrizzazioni fisiche. Con le più recenti versioni del modello, WaveWatch III si sta evolvendo da un modello di onde in un framework di modellazione delle onde, che consente un facile sviluppo di approcci fisici e numerici aggiuntivi alla modellazione delle onde (https://polar.ncep.noaa.gov/waves/wavewatch/.

Come già fatto con WRF, abbiamo utilizzato tre griglie di calcolo telescopiche: la risoluzione al suolo per l’area mediterranea (d01_WW3) è di 9 Km; la risoluzione per i mari che circondano la penisola italiana (d02_WW3) è impostata a 3 Km; mentre il Mar Tirreno centrale e meridionale, settore est (d03_WW3), è coperto da una risoluzione di 1 Km. I dati prodotti dalle previsioni giornaliere della WW3 vengono salvati nella memoria veloce accessibile e offerti agli utenti con servizi diversi e differenti.

Come accade per WW3, il Regional Ocean Model System (ROMS) è offline, accoppiato con WRF per l’attrito del vento e alimentato con le condizioni iniziali e al contorno prodotte dal progetto europeo Copernicus. ROMS è un modello oceanico primitivo di equazioni a superficie libera, che segue il terreno, ampiamente utilizzato dalla comunità scientifica per una vasta gamma di applicazioni. Include diversi schemi di miscelazione verticale, livelli multipli di nidificazione e griglie composte (https://www.myroms.org). Nel nostro flusso di lavoro operativo, la configurazione delle ROM è diversa da WRF e WW3. A causa dei nostri limiti computazionali, abbiamo implementato l’unico dominio d03_ROMS che copre, all’incredibile risoluzione di circa 160 metri (sì, le celle sono circa 160m x 160m), l’area geografica compresa tra la Regione Lazio meridionale e la Regione Calabria settentrionale che si estende per più di 100 x 50 miglia nautiche. Le previsioni tridimensionali sulle correnti marine, la temperatura dell’acqua, la salinità dell’acqua e l’altezza della superficie del mare, circa 2,5 TB di dati al mese, vengono archiviate per uso scientifico e ingegneristico e per forzare modelli più accoppiati.

I modelli WRF, WW3 e ROMS generano quelli che chiamiamo prodotti di previsione di “primo livello”. Il flusso di lavoro in esecuzione di BlackJeans orchestra l’esecuzione di modelli che realizzano i prodotti di “secondo livello”: quei modelli che prevedono il tempo, le onde del mare e le correnti marine (e altre condizioni) vengono utilizzati per alimentare applicazioni specifiche.

Uno dei progetti più longevi è MytiluSE (Modeling mytilus farming System with Enhanced web technologies) finanziato dalla Regione Campania, Settore Veterinario, e mirato a prevedere la concentrazione di inquinanti che circondano l’area di coltivazione di mytilus, fornendo all’esperto uno strumento di stima dei potenziali rischi per la salute umana. Gli output del modello ROMS vengono utilizzati per alimentare un nuovissimo modello di trasporto e diffusione di inquinanti che abbiamo chiamato WaComM (Water Community Model) insieme al database delle fonti di emissioni di inquinamento costiero della Regione Campania. WaComM è un modello Lagrangiano tridimensionale, progettato e implementato come evoluzione del Lagrangian Assessment for Marine Pollution 3D (LAMP3D). Viene utilizzato per calcolare il trasporto e la diffusione di inquinanti per valutare la qualità dell’acqua per la mitilicoltura e l’allevamento ittico. In WaComM, sono stati ottimizzati diversi algoritmi di base e, al fine di migliorarne le prestazioni in un ambiente di elaborazione ad alte prestazioni, sono state aggiunte alcune funzionalità come le tecniche di riavvio e parallelizzazione in ambienti di memoria condivisa. Di seguito, descriviamo il modello matematico sottostante.

Gli inquinanti sono modellati come particelle Lagrangiane inerti. Nel modello non sono incluse interazioni con altre particelle o feedback. Le sorgenti di inquinamento sono definite come una posizione geografica in termini di longitudine, latitudine e profondità, la quantità totale di particelle Lagrangiane rilasciate in un’ora e il profilo di emissione che potrebbe essere impostato staticamente o cambiare durante la simulazione (https://github.com/CCMMMA/wacomm). Il sistema WaComM può essere utilizzato in più modi: come strumento di supporto decisionale, per aiutare nella selezione delle aree più adatte per la diffusione dell’attività agricola o in modo ex post al fine di ottenere una migliore gestione delle attività offshore.

Altri prodotti di “secondo livello” sono (o erano): modellazione delle ingressioni marine al fine di valutare la risalita dell’acqua in caso di eventi meteorologici estremi e produrre allarmi precoci e un modello di rilevatore di fumo in grado di valutare gli effetti sull’inquinamento atmosferico di un incendio doloso.

BlackJeans è sempre in azione: in un decennio i tempi morti sono stati trascurabili. In questo momento, i nodi di calcolo sono 22, con, all’interno, 360 core CPU gestiti utilizzando code differenti per superare le diverse tecnologie coinvolte. Le 12 GPU ospitate sui 12 nodi originali possono essere condivise utilizzando GVirtuS (http://github.com/gvirtus ), in modo da avere GPU virtualizzate e in remoto, in modo trasparente, sugli altri nodi. I dati prodotti dal flusso di lavoro computazionale sono accessibili come risorse aperte utilizzando API REST (https://api.meteo.uniparthenope.it), server OPEnDAP (https://data.meteo.uniparthenope.it/opendap/opendap ), WMS mappe (http://data.meteo.uniparthenope.it/ncWMS2/), il portale web (https://meteo.uniparthenope.it ) o applicazioni mobile sia per iOS (https://apps.apple.com/it/app/meteo-uniparthenope/id1518001997 ) e Android (https://play.google.com/store/apps/details?id=it.uniparthenope.meteo).

Produciamo circa 5 TB al mese. Gli ultimi tre mesi di dati sono stati inseriti in uno storage ad accesso rapido, direttamente connesso al server web, mentre le strutture di archiviazione a lunga durata sono garantite da un sotto-cluster di archiviazione che sfrutta GlusterFS, offrendo fino a 140 TB al momento della scrittura. Negli ultimi dieci anni, BlackJeans ha elaborato previsioni meteorologiche e marine molto accurate, per alcuni degli eventi sportivi più importanti ospitati dalla Regione Campania: la America’s Cup World Series 2012 e 2013, il Campionato Italiano Classi Olimpiche 2015, il Campionato Nazionale ORC 2019 e la 30ma Universiade 2019 (questa è solo una shortlist!).

“In un edificio vicino c’è un dipartimento di ricerca, dove inventano e studiano dei miglioramenti. Ma c’è molta sperimentazione su piccola scala prima di apportare qualsiasi cambiamento nella complessa routine del teatro di calcolo. In uno scantinato, uno studioso osserva i vortici nel mescolamento del liquido di un’enorme ciotola rotante, ma finora il calcolo è una via migliore. In un altro edificio, si trovano tutti i consueti uffici finanziari, di corrispondenza e amministrativi. Fuori ci sono campi da gioco, case, montagne e laghi, perché si ritiene che coloro che calcolano il tempo atmosferico debbano respirare liberamente”.

Ancora una volta, le parole di Lewis Fry Richardson suonano profetiche: in un mondo in cui l’informazione è il potere e il dato è la moneta d’oro, il CMMMA (il Centro Meteo, meteo@uniparthenope), ora guidato dal professor Giorgio Budillon, professore ordinario di Oceanografia, veterano delle esplorazioni antartiche e direttore del Dipartimento di Scienze e Tecnologie, ha accettato una nuova sfida. I big data e le tecniche di Machine Learning svolgono un ruolo importante nelle previsioni meteorologiche/marine/dell’inquinamento. 

I compiti operativi di BlackJeans ora sono costituiti dal calcolo delle catene modellistiche per le previsioni e gli strumenti per l’acquisizione, l’elaborazione, la gestione e l’archiviazione dei dati (ad esempio due radar meteorologici di medio raggio in banda X), mentre la ricerca viene eseguita utilizzando la “giovanissima” GPU-HPC-DDN PurpleJeans, ma questa è un’altra storia che parla di altre “magnifiche sorti e progressive”…

L’autore

I principali temi di ricerca e la produzione scientifica sono focalizzati su strumenti per il calcolo ad alte prestazioni, come Grid, Cloud e GPU, con applicazioni nel campo della Scienze Ambientali Computazionali (big data multidimensionale/calcolo distribuito per modellazione e flussi di lavoro scientifici e gateway scientifici), facendo leva sulle sue precedenti (e tuttora in corso) esperienze nell’informatica embedded/mobile/wearable/pervasiva e nell’Internet delle cose. È entrato a far parte del CI/RDCEP dell’Università di Chicago come Visiting Scholar e come Visiting Assistant Professor, lavorando al progetto FACE-IT. Dirige l’infrastruttura informatica del Centro di monitoraggio e modellazione marittima e atmosferica (CMMMA) dell’Università degli Studi di Napoli “Parthenope”. Ha guidato tecnicamente le unità di ricerca dell’Università di Napoli “Parthenope” del Progetto Europeo “Heterogeneous secure multi-level Remote Acceleration service for low-Power Integrated systems and Devices (RAPID)”, concentrandosi sullo sviluppo e l’integrazione di GVirtuS (General purpose Virtualization Service), che abilita l’esecuzione del kernel CUDA su dispositivi mobile e embedded. Dirige il progetto finanziato localmente: “Modeling mytilus farming System with Enhanced web technologies (MytiluSE)”, incentrato su simulazioni accoppiate, basate su calcolo ad alte prestazioni per allevamenti di mitili, previsione e valutazione della qualità del cibo per la mitigazione delle malattie gastriche umane. È a capo del progetto prototipo di ricerca: “DYNAMO: Distributed leisure Yacht-carry sensor-Network for Atmosphere and Marine data crowdsourcing applications” rivolto alla raccolta di dati marini costieri come crowdsourcing per la protezione, lo sviluppo e la gestione dell’ambiente. È a capo dell’unità UNP di Erasmus+Progetto “Framework for Gamified Programming Education” (FGPE). È a capo dell’unità UNP/CINI del progetto Euro-HPC H2020 “Adaptive multi-tier intelligent data manager for Exascale” (ADMIRE).

Riferimenti bibliografici.

Skamarock, William C., Joseph B. Klemp, and Jimy Dudhia. “Prototypes for the WRF (Weather Research and Forecasting) model.” In Preprints, Ninth Conf. Mesoscale Processes, J11–J15, Amer. Meteorol. Soc., Fort Lauderdale, FL. 2001.

Tolman, Hendrik L. “Distributed-memory concepts in the wave model WAVEWATCH III.” Parallel Computing 28, no. 1 (2002): 35-52.

Wilkin, John L., Hernan G. Arango, Dale B. Haidvogel, C. Sage Lichtenwalner, Scott M. Glenn, and Katherine S. Hedström. “A regional ocean modeling system for the Long‐term Ecosystem Observatory.” Journal of Geophysical Research: Oceans 110, no. C6 (2005).

Montella, Raffaele, Diana Di Luccio, Pasquale Troiano, Angelo Riccio, Alison Brizius, and Ian Foster. “WaComM: A parallel Water quality Community Model for pollutant transport and dispersion operational predictions.” In 2016 12th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), pp. 717-724. IEEE, 2016.

Sánchez-Gallegos, Dante D., Diana Di Luccio, J. L. Gonzalez-Compean, and Raffaele Montella. “A Microservice-Based Building Block Approach for Scientific Workflow Engines: Processing Large Data Volumes with DagOnStar.” In 2019 15th International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), pp. 368-375. IEEE, 2019.

Laccetti, Giuliano, Raffaele Montella, Carlo Palmieri, and Valentina Pelliccia. “The high performance internet of things: using GVirtuS to share high-end GPUs with ARM based cluster computing nodes.” In International Conference on Parallel Processing and Applied Mathematics, pp. 734-744. Springer, Berlin, Heidelberg, 2013.

Di Luccio, Diana, Guido Benassai, Giorgio Budillon, Luigi Mucerino, Raffaele Montella, and Eugenio Pugliese Carratelli. “Wave run-up prediction and observation in a micro-tidal beach.” Natural Hazards & Earth System Sciences 18, no. 11 (2018).

Montella, Raffaele, Diana Di Luccio, Angelo Ciaramella, and Ian Foster. “StormSeeker: A Machine-Learning-Based Mediterranean Storm Tracer.” In International Conference on Internet and Distributed Computing Systems, pp. 444-456. Springer, Cham, 2019.

Di Luccio, D., Benassai, G., Mucerino, L., Montella, R., Conversano, F., Pugliano, G., … & Budillon, G. (2020). Characterization of beach run-up patterns in Bagnoli bay during ABBACO project. Chemistry and Ecology, 36(6), 619-636.

Di Luccio, D., Benassai, G., De Stefano, M., & Montella, R. Evidences of atmospheric pressure drop and sea level alteration in the Ligurian Sea. In IMEKO TC-19 International Workshop on Metrology for the SeanGenoa, Italy, October 3-5, 2019.