Compute4PUNCH & Storage4PUNCH: Miundombinu ya Shirikisho kwa PUNCH4NFDI

1. Utangulizi na Muhtasari

Ushirika wa PUNCH4NFDI (Chembe, Ulimwengu, Nyukli na Hadroni kwa Miundombinu ya Kitaifa ya Data ya Utafiti), unaofadhiliwa na Shirika la Utafiti la Ujerumani (DFG), unawakilisha takriban wanasayansi 9,000 kutoka jamii za fizikia ya chembe, nyota, chembe za nyota, hadroni, na nyuklia nchini Ujerumani. Dhamira yake kuu ni kuanzisha jukwaa la data ya kisayansi la shirikisho, la FAIR (Inapatikana, Inafikiwa, Inaweza Kuingiliana, Inaweza Kutumiwa Tena). Changamoto kuu inayoshughulikiwa ni ushirikiano wa laini na ufikiaji wa umoja kwa anuwai kubwa ya rasilimali tofauti za kompyuta (HPC, HTC, Wingu) na hifadhi zinazotolewa kwa namna ya mchango na taasisi wanachote nchini Ujerumani. Hati hii inaelezea kwa kina dhana za Compute4PUNCH na Storage4PUNCH zilizoundwa kushinda vizuizi hivi vya ushirikiano.

2. Miundombinu ya Shirikisho ya Kompyuta Mbalimbali (Compute4PUNCH)

Compute4PUNCH inalenga kuunda mfumo wa kitaifa wa shirikisho wa kundi wa juu, ukitoa ufikiaji wa uwazi kwa rasilimali mbalimbali za kompyuta bila kulazimisha mabadiliko makubwa kwenye mifumo iliyopo, inayofanya kazi, inayoshirikiwa na jamii nyingi.

2.1 Usanifu Mkuu na Vipengele

Usanifu umejengwa karibu na mfumo wa shirikisho wa kundi wa HTCondor. Mpangaji-meta wa rasilimali COBalD/TARDIS huunganisha kwa nguvu rasilimali mbalimbali (vikundi vya HPC, mashamba ya HTC, mifano ya wingu) ndani ya hifadhi hii ya umoja. Vingilio kwa watumiaji vinajumuisha nodi za kuingia za jadi na huduma ya JupyterHub, ikitoa vingilio rahisi kwa mandhari yote ya rasilimali.

2.2 Ufikiaji na Uthibitishaji (AAI)

Miundombinu ya Uthibitishaji na Uidhinishaji (AAI) yenye msingi wa tokeni hutoa ufikiaji wa kawaida, salama kwenye rasilimali zote za shirikisho, ikirahisisha uzoefu wa mtumiaji na kuimarisha usalama.

2.3 Utoaji wa Mazingira ya Programu

Ili kudhibiti mahitaji mbalimbali ya programu, miundombinu hii hutumia teknolojia za kontena (k.m., Docker, Singularity/Apptainer) na Mfumo wa Faili ya Mashine ya Mtandao wa CERN (CVMFS). CVMFS huruhusu usambazaji wa kupanuka, uliosambazwa wa mkusanyiko wa programu maalum za jamii na data ya majaribio, ikihakikisha uthabiti na kupunguza mzigo wa hifadhi ya ndani kwenye nodi za kompyuta.

3. Miundombinu ya Shirikisho ya Hifadhi (Storage4PUNCH)

Storage4PUNCH inalenga kuunganisha mifumo ya hifadhi inayotolewa na jamii, hasa ikijengwa kwenye teknolojia za dCache na XRootD, ambazo zimeimarika katika Fizikia ya Nishati ya Juu (HEP).

3.1 Teknolojia ya Shirikisho la Hifadhi

Shirikisho hili linaunda nafasi ya jina ya umoja, ikiruhusu watumiaji kufikia data kwenye mifumo mbalimbali ya hifadhi ya taasisi kana kwamba ni rasilimali moja. Hii hutumia itifaki na dhana zilizothibitishwa katika ushirikiano mkubwa kama Wavu wa Kompyuta wa Dunia Kote wa LHC (WLCG).

3.2 Mikakati ya Kache na Metadata

Mradi huu unakagua teknolojia zilizopo kwa ajili ya uhifadhi wa data ya akili na usimamizi wa metadata. Lengo ni ushirikiano wa kina ili kuboresha uwekaji wa data, kupunguza ucheleweshaji, na kuboresha ugunduzi wa data kulingana na kanuni za FAIR.

4. Utekelezaji wa Kiufundi na Maelezo

4.1 Mfano wa Hisabati kwa Upangaji Rasilimali

Mpangaji COBalD/TARDIS unaweza kufasiriwa kama kutatua tatizo la uboreshaji. Acha $R = \{r_1, r_2, ..., r_n\}$ iwe seti ya rasilimali mbalimbali, kila moja ikiwa na sifa kama usanifu, viini vinavyopatikana, kumbukumbu, na gharama. Acha $J = \{j_1, j_2, ..., j_m\}$ iwe seti ya kazi zilizo na mahitaji. Mpangaji unalenga kuongeza kikomo kitendakazi cha manufaa $U$ (k.m., ufanisi wa jumla, haki) chini ya vikwazo:

$$\text{Ongeza kikomo } U(\text{Mgawanyiko}(R, J))$$

$$\text{chini ya: } \forall r_i \in R, \text{Matumizi}(r_i) \leq \text{Uwezo}(r_i)$$

$$\text{na } \forall j_k \in J, \text{Mahitaji}(j_k) \subseteq \text{Sifa}(\text{RasilimaliIliyopangiwa}(j_k))$$

Njia hii ya nguvu, inayoongozwa na sera, ni rahisi zaidi kuliko mifumo ya jadi ya foleni tuli.

4.2 Matokeo ya Prototayp na Utendaji

Prototayp za awali zimeonyesha kwa mafanikio shirikisho la rasilimali kutoka taasisi kama KIT, DESY, na Chuo Kikuu cha Bielefeld. Vipimo muhimu vya utendaji vilivyoonekana ni pamoja na:

Ucheleweshaji wa Kuwasilisha Kazi: Mfumo wa juu unaongeza mzigo mdogo sana, na kuwasilisha kazi kwenye hifadhi kuu ya HTCondor kwa kawaida chini ya sekunde 2.
Matumizi ya Rasilimali: Hifadhi ya nguvu iliyoongozwa na TARDIS ilionyesha uwezekano wa kuongezeka kwa matumizi ya jumla ya rasilimali kwa kujaza "mapengo" katika ratiba za vikundi binafsi.
Ufikiaji wa Data kupitia CVMFS: Nyakati za kuanzisha programu kutoka CVMFS zilikuwa sawa na usakinishaji wa ndani baada ya uhifadhi wa kache wa awali, ikithibitisha matumizi yake kwa usambazaji wa programu unaoweza kupanuka.
Uzoefu wa Mtumiaji: Maoni ya awali yanaonyesha kiolesura cha JupyterHub na AAI yenye msingi wa tokeni hupunguza kwa kiasi kikubwa kikwazo cha kuingia kwa watumiaji wasiojua mifumo ya kundi ya mstari wa amri.

Kumbuka: Vipimo vya kina vya kiasi vinavyolinganisha utendaji wa shirikisho dhidi ya utendaji wa pekee ni sehemu ya kazi inayoendelea.

5. Mfumo wa Uchambuzi na Kisa Cha Utafiti

Kisa Cha Utafiti: Uchambuzi wa Astrofizikia ya Ujumbe Mbalimbali

Fikiria mwanafizikia wa chembe za nyota anayechambua tukio la mlipuko wa mionzi gamma. Mchakato wa kazi unajumuisha:

Ugunduzi wa Data: Kutumia nafasi ya jina ya hifadhi ya shirikisho kupata seti za data zinazohusika kutoka kwenye kumbukumbu za mionzi gamma (Fermi-LAT), macho (LSST), na mawimbi ya mvuto (LIGO/Virgo), zote zinazofikiwa kupitia njia ya umoja (k.m., /punche/data/events/GRB221009A).
Kuwasilisha Mchakato wa Kazi: Mtafiti hutumia jalada la JupyterHub kuandaa hati ya uchambuzi yenye hatua nyingi. Hati inabainisha mahitaji ya usindikaji wa picha unaoendeshwa na GPU (kwa data ya macho) na kazi za CPU zenye kumbukumbu kubwa (kwa kufaa spectral).
Utekelezaji wa Nguvu: Shirikisho la Compute4PUNCH, kupitia COBalD/TARDIS, hupeleka kiotomatiki kazi ya GPU kwenye kikundi cha chuo kikuu kilicho na nodi zinazopatikana za V100/A100 na kazi ya kumbukumbu kubwa kwenye kituo cha HPC kilicho na nodi za kumbukumbu kubwa, bila kuingiliwa na mtumiaji.
Mazingira ya Programu: Kazi zote huchota mazingira thabiti ya kontena yenye zana maalum za unajimu (k.m., Astropy, Gammapy) kutoka CVMFS.
Muunganisho wa Matokeo: Matokeo ya kati yanaandikwa tena kwenye hifadhi ya shirikisho, na michoro ya mwisho hutengenezwa, yote yakisimamiwa ndani ya kikao kimoja kilichothibitishwa.

Kisa hiki kinaonyesha jinsi shirikisho linavyoficha utata wa miundombinu, ikiruhusu mwanasayansi kuzingatia tatizo la kisayansi.

6. Uchambuzi Muhimu na Mtazamo wa Sekta

Ufahamu Mkuu: PUNCH4NFDI haijengi wingu jingine la ukubwa mmoja; inabuni tabaka la shirikisho—"mfumo wa uendeshaji-meta" kwa miundombinu ya utafiti iliyosambazwa kitaifa, yenye utawala. Hii ni jibu la kimakusudi na lenye nguvu kwa mandhari iliyogawanyika ya sayansi ya dijiti barani Ulaya, ikipatia kipaumbele ushirikiano badala ya uingizwaji. Inaakisi falsafa ya usanifu nyuma ya mifumo mikubwa iliyofanikiwa kama Kubernetes kwa uratibu wa kontena, lakini inatumika kwa kiwango cha vituo vyote vya data.

Mkondo wa Kimantiki: Mantiki hii ni kamili: 1) Kubali utofauti na uwekezaji uliopo kama vikwazo visivyobadilika. 2) Tambulisha tabaka la dhana dogo, lisiloingiliani (HTCondor + TARDIS) kwa kompyuta, na shirikisho la nafasi ya jina kwa hifadhi. 3) Tumia programu ya kati iliyojaribiwa, inayoongozwa na jamii (CVMFS, dCache, XRootD) kama vitalu vya ujenzi ili kuhakikisha uthabiti na kutumia utaalamu uliopo. 4) Toa vingilio vya kisasa, vinavyozingatia mtumiaji (JupyterHub, tokeni AAI). Mkondo huu hupunguza msuguano wa kisiasa na kiufundi kwa watoa rasilimali, jambo muhimu kwa kupitishwa.

Nguvu na Kasoro: Nguvu kuu ya mradi huu ni matumizi ya kimakusudi ya teknolojia zilizokomaa kutoka kwa jamii ya HEP, ikipunguza hatari ya maendeleo. Mwelekeo kwenye tabaka la juu lisiloingiliani ni wa busara kisiasa. Hata hivyo, njia hiyo hubeba deni la kiufundi asilia. Utata wa kurekebisha matatizo ya utendaji au kushindwa kwenye maeneo mengi ya utawala huru, sera tofauti za mtandao, na wapangaji wenye tabaka nyingi (ndani + shirikisho) utakuwa mgumu—changamoto iliyorekodiwa vizuri katika fasihi ya gridi ya kompyuta. Kutegemea HTCondor, ingawa ni thabiti, kunaweza kusio bora kwa muundo wote wa mzigo wa HPC, kwa uwezekano kuacha utendaji kwenye meza kwa kazi za MPI zilizounganishwa kwa nguvu. Zaidi ya hayo, ingawa hati inataja kanuni za data za FAIR, utekelezaji halisi wa katalogi tajiri za metadata za kuvuka jamii—changamoto kubwa sana—inaonekana kuahirishwa kwa tathmini ya baadaye.

Ufahamu Unaoweza Kutekelezwa: Kwa mashirika mengine, ujumbe muhimu ni mkakati wa "kwanza tabaka la juu". Kabla ya kujaribu kujenga au kuamuru vifaa vya kawaida, wekeza katika gundi ya programu. Mkusanyiko wa PUNCH4NFDI (HTCondor/TARDIS + CVMFS + Hifadhi ya Shirikisho) unawakilisha seti ya zana ya wazi ya kuvutia kwa miradi ya kitaifa ya wingu la utafiti. Hata hivyo, lazima wawekeze kwa nguvu katika zana za uchunguzi wa kuvuka maeneo—fikiria OpenTelemetry kwa kompyuta ya kisayansi iliyosambazwa—ili kudhibiti utata wanaouunda. Pia wanapaswa kuchunguza aina mchanganyiko za upangaji, labda kuunganisha vipengele vya kazi ya shirikisho ya SLURM inayolenga HPC au wapangaji wa asili ya wingu kwa utumiaji mpana zaidi zaidi ya HTC. Mafanikio ya shirikisho hili yatapimwa sio kwa flops za kilele, bali kwa kupunguzwa kwa "wakati wa ufahamu" kwa wanasayansi wake 9,000.

7. Matumizi ya Baadaye na Ramani ya Maendeleo

Miundombinu ya PUNCH4NFDI inaweka msingi kwa matumizi kadhaa ya hali ya juu:

Mafunzo ya AI/ML kwa Kipimo Kikubwa: Hifadhi ya rasilimali ya shirikisho inaweza kutoa kiotomatiki vikundi vya nodi za GPU kwa ajili ya kufundisha miundo mikuu kwenye seti za data za kisayansi zilizosambazwa, kufuata mifano inayofanana na ile inayochunguzwa na vipimo vya MLPerf HPC.
Uchambuzi wa Kuingiliana na Wakati Halisi: Usaidizi ulioimarishwa kwa vikao vya kuingiliana na huduma zinazounganisha na mtiririko wa data wa wakati halisi kutoka darubini au vigunduzi vya chembe, ikirahisisha uchambuzi "wa moja kwa moja" wa data ya uchunguzi.
Mafunzo ya Shirikisho kwa Data Nyeti: Miundombinu inaweza kubadilishwa ili kusaidia michakato ya kazi ya mafunzo ya shirikisho inayohifadhi faragha, ambapo miundo ya AI inafunzwa kwenye taasisi nyingi bila kushiriki data ghafi—mbinu inayopata umaarufu katika upigaji picha wa matibabu na nyanja nyingine.
Ushirikiano na Wingu la Sayansi ya Wazi la Ulaya (EOSC): Kikifanya kazi kama nodi ya kitaifa yenye nguvu, shirikisho la PUNCH4NFDI linaweza kutoa ufikiaji wa laini kwa huduma na rasilimali za EOSC, na kinyume chake, ikiongeza athari yake.
Michakato ya Kazi ya Mseto wa Quantum: Kadri majaribio ya kompyuta ya quantum yanavyopatikana, shirikisho linaweza kupanga kazi za awali/baada ya usindikaji wa jadi pamoja na kazi za kochipu ya quantum, ikidhibiti mchakato wote wa kazi wa mseto.

Ramani ya maendeleo kwa uwezekano itazingatia kuimarisha huduma ya uzalishaji, kupanua hifadhi ya rasilimali, kutekeleza sera za hali ya juu za usimamizi wa data, na kuimarisha ushirikiano kati ya tabaka za kompyuta na hifadhi.

8. Marejeo

Ushirika wa PUNCH4NFDI. (2024). Hati Nyeupe ya PUNCH4NFDI. [Hati ya Ndani ya Ushirika].
Thain, D., Tannenbaum, T., & Livny, M. (2005). Kompyuta iliyosambazwa kwa vitendo: uzoefu wa Condor. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
Blomer, J., et al. (2011). Mfumo wa Faili wa CernVM. Journal of Physics: Conference Series, 331(5), 052004. https://doi.org/10.1088/1742-6596/331/5/052004
Fuhrmann, P., & Gulzow, V. (2006). dCache, mfumo wa kuhifadhi idadi kubwa ya data. 22nd IEEE Conference on Mass Storage Systems and Technologies (MSST'05). https://doi.org/10.1109/MSST.2005.47
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Tafsiri ya Picha hadi Picha isiyo na jozi kwa kutumia Mtandao wa Kupingana wenye Mzunguko Thabiti. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Imetajwa kama mfano wa algoriti tata, yenye mzigo mkubwa wa rasilimali inayoongoza mahitaji ya kompyuta).
Shirika la MLCommons. (2023). Kipimo cha MLPerf HPC. https://mlcommons.org/benchmarks/hpc/ (Imetajwa kama marejeo ya mizigo ya kazi ya AI/ML kwenye mifumo ya HPC).
Tume ya Ulaya. (2024). Wingu la Sayansi ya Wazi la Ulaya (EOSC). https://eosc-portal.eu/