Infrastruttura

L’infrastruttura CloudVeneto è un servizio Cloud di tipo IaaS (Infrastructure as a Service) che permette agli utenti di istanziare con pochi semplici comandi risorse di calcolo e di storage, che possono poi essere utilizzate per le proprie specifiche esigenze.

Esempi di come le risorse di CloudVeneto possono essere utilizzate sono:


  • l’esecuzione di applicazioni interattive,
  • il dispiegamento di servizi,
  • la configurazione di cluster per l’esecuzione di istanze multiple di applicazioni di calcolo (anche container) in modalità batch,
  • l’esecuzione di applicazioni di calcolo parallelo che richiedono l’impiego simultaneo di più macchine virtuali.

La Cloud INFN dell'Area Padovana e la Cloud dell'Università di Padova si sono integrate in modo da formare un’unica infrastruttura di calcolo che complessivamente oggi forma un'aggregazione di circa 3500 core logici (organizzati in 66 compute node), 24 GPU, circa 16 TB di memoria RAM e circa 1.3 PB raw di storage.


Hardware


Hardware

Le risorse di calcolo di CloudVeneto di proprietà dell'Università di Padova sono principalmente costituite da un sistema server DELL Blade costituito da un Enclosure PowerEdge M1000e con:

  • 9 nodi PowerEdge M620, ciascuno equipaggiato con doppio processore Intel Xeon E5-2670v2 2.50 GHz e 128 GB di RAM
  • 3 nodi PowerEdge M620, ciascuno equipaggiato con doppio processore Intel Xeon E5-2670v2 2.50 GHz e 256 GB di RAM
  • 2 nodi PowerEdge M620, ciascuno equipaggiato con doppio processore Intel Xeon E5-2609v2 2.40 GHz e 32 GB di RAM



Esistono poi alcune risorse acquistate con fondi di gruppi di ricerca del Dipartimento di Fisica e Astronomia:

  • 2 server equipaggiati complessivamente con 4 GPU NVIDIA T4 e 2 GPU NVIDIA TITAN Xp
  • 4 server, ognuno con 2 processori Intel Xeon Gold 5120 CPU @ 2.20GHz e 256 GB di RAM
  • 1 server con 2 processori Intel Xeon Gold 6248R CPU @ 3.00GHz e 128 GB di RAM
  • 1 server con 2 processori Intel Xeon Gold 6238R CPU @ 2.20GHz e 768 GB di RAM
  • 1 server con 2 processori Intel Xeon Gold 6230R CPU @ 2.10GHz, 512 GB di RAM e 1 GPU NVIDIA RTX A4000
  • 1 server con 2 processori Intel Xeon Gold 6330N CPU @ 2.20GHz, 384 GB di RAM
  • 1 server con 2 processori Intel Xeon Gold 6330N CPU @ 2.20GHz, 384 GB di RAM e 2 GPU NVIDIA Ampere A2
  • 2 storage server con 20 dischi da 12 TB


Queste risorse hardware sono fisicamente installate nella sala CED condivisa tra la Sezione di Padova dell'INFN e il Dipartimento di Fisica e Astronomia dell’Università di Padova.




Hardware Hardware

Nella stessa sala CED sono installate le risorse di calcolo di proprietà della Sezione di Padova dell'INFN. Si tratta in totale di 26 server di diverso tipo che in totale forniscono:

  • 1440 core (in HT)
  • 6368 GB di memoria RAM
  • 13 GPU:
    • 4 GPU Nvidia V100
    • 8 GPU Nvidia T4
    • 1 GPU Nvidia Quadro RTX 6000
    • 1 GPU Nvidia GeForce GTX TITAN.
    • 1 GPU Nvidia Ampere A30.



Lo storage e` implementato da un cluster ceph.




Hardware

Le risorse di calcolo di proprietà dei Laboratori Nazionali di Legnaro dell'INFN, e lì installate sono:

  • 7 nodi DELL PowerEdge PowerEdge R430, ciascuno equipaggiato con doppio processore Intel Xeon E5-2640v3 2.60 GHz e 128 GB di RAM
  • 4 nodi DELL PowerEdge PowerEdge C6420, ciascuno con 2 processori Intel Xeon Gold 5120 2.20GHz e 256 GB di RAM
  • 4 server DELL PowerEdge C6525, ciascuno con 2 processori AMD EPYC 7282 e 512 GB di RAM



Software


Per l’implementazione dell’infrastruttura CloudVeneto, si sta utilizzando OpenStack, middleware cloud open-source, che ha una grande (e in continua crescita) comunità di utenti e sviluppatori, con forte supporto da parte dell'industria.

I servizi OpenStack che sono stati configurati sono:

  • Keystone (autenticazione, autorizzazione, service discovery)
  • Glance (gestione immagini)
  • Nova (gestione virtual machine)
  • Neutron (networking)
  • Cinder (block storage)
  • Heat (orchestrazione)
  • Horizon (interfaccia web-based)
  • EC2 (Interfaccia compatibile Amazon EC2)

Sono stati inoltre integrati altri servizi per fornire specifiche funzionalita`, in particolare:


  • Object storage, implementato attraverso il servizio Ceph radosgw
  • Integrazione con Identity Provider (in particolare il sistema di Single Sign-On dell'Universita` di Padova e l'Infrastruttura di Autenticazione ed Autorizzazione dell'INFN) per l'autenticazione degli utenti
  • Supporto per la registrazione degli utenti e dei progetti
  • Gestione delle informazioni di accounting
  • Supporto per la configurazione di batch cluster elastici per l'esecuzione sia di applicazioni standard che di container docker
  • Supporto per la configurazione di cluster kubernetes, in particolare per applicazioni "Big Data"

I vari servizi necessari alle operazioni della Cloud sono stati installati in High Availability (HA). In particolare:


  • I servizi OpenStack sono stati installati su 2 controller/network node.
  • Il database Mysql necessario alla funzionalità di OpenStack è stato implementato attraverso un cluster Percona XtraDB Multi­Master costituito da 3 istanze.
  • L’accesso in HA ai servizi OpenStack e al database viene gestito attraverso un cluster HAProxy/KeepAlived costituito da 3 istanze.
  • Il sistema di messaging utilizzato per la comunicazione tra i diversi servizi Cloud è stato implementato attraverso un cluster RabbitMQ costituito da 3 istanze.

Software