Miungano ya Miungano ya Hesabu na Hifadhi ya Aina Mbalimbali kwa PUNCH4NFDI

1. Utangulizi

Chembe, Ulimwengu, Nyuklia na Hadroni kwa Miundombinu ya Kitaifa ya Data ya Utafiti (PUNCH4NFDI) ni ushirikiano mkubwa wa Ujerumani unaofadhiliwa na DFG (Shirika la Utafiti la Ujerumani). Linawakilisha takriban wanasayansi 9,000 kutoka jamii za fizikia ya chembe, nyota, chembe za nyota, hadroni, na nyuklia. Lengo kuu la ushirikiano ni kuanzisha jukwaa la data ya sayansi linalounganishwa na linalofuata kanuni za FAIR (Inayopatikana, Inayoweza Kufikiwa, Inayoweza Kuingiliana, Inayoweza Kutumiwa Tena). Changamoto kuu inayoshughulikiwa ni kuunganisha rasilimali za hesabu (HPC, HTC, Wingu) na hifadhi zenye aina mbalimbali zinazotolewa "kwa namna ya kifedha" na taasisi wanachama kote Ujerumani, na kuwapa watafiti ufikiaji wa umoja usio na mipaka.

2. Miungano ya Miungano ya Hesabu ya Aina Mbalimbali – Compute4PUNCH

Dhana ya Compute4PUNCH imeundwa kutoa ufikiaji wa uwazi kwa rasilimali mbalimbali za hesabu bila kuwalazimisha watoa huduma kubadilisha mifumo yao iliyopo na inayofanya kazi kwa kiasi kikubwa.

3. Miungano ya Miungano ya Hifadhi – Storage4PUNCH

Storage4PUNCH inalenga kuunganisha mifumo ya hifadhi ya jamii, hasa inayotegemea teknolojia za dCache na XRootD, ambazo ni viwango katika Fizikia ya Nishati ya Juu (HEP). Muungano huu unalenga kutoa jina la umoja na itifaki ya ufikiaji. Dhana hii inatathmini ushirikiano wa kina zaidi kupitia:

• Itifaki za muungano wa hifadhi (k.m., zinazotegemea muungano wa kuelekeza wa XRootD au msimamizi wa bahari ya dCache).
• Tabaka za uhifadhi wa kumbukumbu ili kupunguza ucheleweshaji na trafiki ya WAN.
• Uchakataji wa metadata ili kuboresha uwezekano wa kutambua data katika muungano wote.

4. Maelezo ya Kiufundi na Mfumo wa Hisabati

Mantiki kuu ya upangaji inaweza kuonyeshwa kama shida ya uboreshaji. Hebu $R = \{r_1, r_2, ..., r_n\}$ iwe seti ya rasilimali zenye aina mbalimbali, kila moja ikiwa na sifa kama usanifu, viini vinavyopatikana $c_i$, kumbukumbu $m_i$, na kipengele cha gharama/kipaumbele $p_i$. Kazi $J$ ina mahitaji $J_{req} = (c_{req}, m_{req}, arch_{req}, t_{req})$. Lengo la mpangaji wa ziada ni kuongeza matumizi au ufanisi wa jumla.

Kazi rahisi ya kupima alama ya kuweka kazi $J$ kwenye rasilimali $r_i$ inaweza kuwa: $$ S(J, r_i) = \begin{cases} 0 & \text{kama } r_i \text{ hailingani na } J_{req} \\ \alpha \cdot \frac{c_i}{c_{req}} + \beta \cdot \frac{m_i}{m_{req}} - \gamma \cdot p_i & \text{vivyo hivyo} \end{cases} $$ ambapo $\alpha, \beta, \gamma$ ni viwango vya uzani. Mfumo wa COBalD/TARDIS hutekeleza heuristiki na mizunguko ya maoni ya wakati halisi ili kukadiria uboreshaji kama huo kwa nguvu, ukibadilika kulingana na upatikanaji wa rasilimali na hali za foleni za kazi.

5. Matokeo ya Prototayp na Utendaji

Maelezo ya Chati (Ya Dhana): Chati ya mstari inayoonyesha "Uwezo wa Hesabu wa Jumla Unaoweza Kufikiwa Kwa Muda." Mhimili wa x ni wakati (miezi). Mistari miwili inaonyeshwa: 1) "Bahari za Rasilimali Binafsi (Zisizounganishwa)" – mistari iliyonyooka, isiyo sawa inayoonyesha uwezo tuli wa tovuti binafsi. 2) "Bahari Iliyounganishwa Kupitia Compute4PUNCH" – mstari wa juu zaidi, unaobadilika zaidi unaoongezeka kadri tovuti zaidi zinapounganishwa na kuonyesha mabadiliko madogo, yakionyesha usawa wa mzigo katika muungano wote. Chati inaonyesha matokeo muhimu: mfumo uliounganishwa huwapatia watumiaji bahari ya rasilimali ya mtandaoni kubwa zaidi, yenye ustahimilivu zaidi, na inayotumiwa kwa ufanisi zaidi kuliko jumla ya sehemu zake zilizotengwa.

Prototayp za awali zilionyesha kwa mafanikio kuwasilisha kazi kutoka kwa sehemu moja ya kuingilia (JupyterHub) hadi bahari nyingi za HTCondor za nyuma na vikundi vya HPC (k.m., huko KIT, DESY). Kazi zilizotumia mazingira ya vyombo kupitia CVMFS zilitekelezwa kwa uwazi kwenye usanifu tofauti. Vipimo vya awali vinaonyesha kupungua kwa muda wa kusubiri kwa watumiaji kwa kutumia mizunguko isiyotumiwa vya kutosha katika muungano wote, ingawa ucheleweshaji wa uhamishaji wa data kati ya tovuti bado ni kipengele muhimu kwa mizigo ya kazi yenye data nyingi.

6. Mfumo wa Uchambuzi: Mfano wa Kufikiria

Hali: Uchambuzi wa astrofizikia ya ujumbe mwingi unaounganisha data kutoka kwa darubini ya neutrino (IceCube) na uchunguzi wa mionzi ya gamma (CTA).

Mzunguko wa Kazi Bila Muungano: Mtafiti anapaswa: 1. Kuomba mgao wa hesabu tofauti kwenye kikundi cha HPC kwa ajili ya uigizaji na shamba la HTC kwa ajili ya uchakataji wa tukio. 2. Kuhamisha mikusanyiko mikubwa ya data (ya kiwango cha TB) kati ya mifumo ya hifadhi katika taasisi tofauti kwa mikono. 3. Kusimamia mazingira tofauti ya programu na njia za uthibitishaji.

Mzunguko wa Kazi na Compute4PUNCH/Storage4PUNCH: 1. Mtafiti anaingia kwenye PUNCH JupyterHub kwa tokeni moja. 2. Mzunguko wa kazi wa uchambuzi umebainishwa (k.m., kwa kutumia Snakemake au kitu kama hicho). Kazi za uigizaji (zinazofaa kwa HPC) zinaelekezwa kiotomatiki kupitia TARDIS hadi rasilimali zinazofaa za HPC. Kazi za uchakataji wa tukio zenye ufanisi wa juu zinatuma kwenye mashamba ya HTC. 3. Mzunguko wa kazi unarejelea data kupitia jina la umoja la hifadhi iliyounganishwa (k.m., `punch://data/icecube/run_xyz.root`). Muungano wa msingi wa XRootD/dCache husimamia eneo na uhamishaji. 4. Kazi zote huchota mazingira ya programu thabiti kutoka CVMFS. Mfano huu unaonyesha uwezo wa mabadiliko: mtafiti anazingatia sayansi, sio mambo ya kiufundi ya miundombinu.

7. Matumizi ya Baadaye na Mpango wa Maendeleo

Miundombinu ya PUNCH4NFDI inaweka msingi kwa matumizi kadhaa ya hali ya juu:

• Mafunzo ya Mashine ya Kujifunza Iliyounganishwa: Kuchukua faida ya GPU zenye aina mbalimbali kote tovuti kwa ajili ya mafunzo ya mfano mkubwa, kwa uwezekano wa kutumia mifumo kama PyTorch au TensorFlow na algoriti za kujifunza zilizounganishwa zilizobadilishwa kwa ajili ya nyuma ya HTCondor/TARDIS.
• Uwekaji wa Mizigo ya Kazi Unaobadilika na Unaodhibitiwa na Sera: Kuunganisha upangaji unaotambua kaboni, ambapo kazi zinaelekezwa kwenye tovuti zenye upatikanaji wa juu wa nishati mbadala, sawa na dhana zilizochunguzwa na mradi wa Green Algorithms.
• Muungano wa Kati ya Ushirikiano: Kutumika kama mfano wa kuunganisha na ushirikiano mwingine wa NFDI au miradi ya Ulaya kama Wingu wa Sayansi ya Wazi ya Ulaya (EOSC), na kuunda miundombinu ya utafiti ya pan-Ulaya.
• Uhifadhi wa Kumbukumbu wa Data Unaoelewa na Uchukuaji wa Mapema: Kwa kutumia asili ya mzunguko wa kazi na uchambuzi wa utabiri ili kuhifadhi kumbukumbu ya mikusanyiko ya data mapema kwenye tovuti za hesabu, na kupunguza ucheleweshaji wa WAN, changamoto pia kuu kwa miradi kama IRIS-HEP.

8. Mtazamo wa Mchambuzi: Uelewa Mkuu, Mtiririko wa Mantiki, Nguvu na Mapungufu, Uelewa Unaoweza Kutekelezwa

Uelewa Mkuu: PUNCH4NFDI haijengi kompyuta mpya ya hali ya juu; inajenga tabaka la uigizaji na uongozi ambalo linageuza mandhari ya hesabu ya utafiti ya Ujerumani iliyogawanyika na kugawanyika kuwa huduma yenye umoja na inayolenga mtumiaji. Hii ni mkakati wa jadi wa "muungano-badala-ya-kubadilisha", ukipa kipaumbele kupitishwa na hatua kwa hatua badala ya mabadiliko ya mapinduzi—hatua yenye akili ya vitendo kutokana na ukweli wa kisiasa na kiutendaji wa taasisi zinazofadhiliwa na umma.

Mtiririko wa Mantiki: Mantiki ni sahihi: 1) Kutambua aina mbalimbali na umiliki (rasilimali zinasalia na taasisi). 2) Kuweka mahitaji mapya madogo (tumia tokeni, vyombo). 3) Kuingiza tabaka la katikati lenye akili na linalobadilika (COBalD/TARDIS) ili kuficha utata. 4) Kutoa kiolesura rahisi, cha kisasa cha mtumiaji (JupyterHub). 5) Kuunganisha data kwa njia sawa ili kukamilisha mzunguko. Hii ni kitabu cha miongozo cha ushirikiano kutoka chini kwenda juu ambacho ushirikiano mwingine unapaswa kusoma.

Nguvu na Mapungufu: Nguvu: Matumizi ya vipengele vilivyojaribiwa vita (HTCondor, dCache, CVMFS) kutoka kwa jamii ya HEP hupunguza kwa kiasi kikubwa hatari ya kiufundi. Mwelekeo kwenye AAI na vyombo hushughulikia vizuizi vikuu viwili vya kupitishwa: ufikiaji na programu. Uchaguzi wa COBalD/TARDIS una mwanga—ni mpangaji mwepesi, unaotegemea Python ulioundwa kwa ajili ya hali hii halisi ya wingu mseto na ya fursa. Mapungufu Muhimu: Jambo kubwa linalojitokeza ni usogeaji wa data. Kuunganisha hesabu ni rahisi kuliko kuunganisha hifadhi. Karatasi inataja uhifadhi wa kumbukumbu na tathmini ya metadata, lakini matatizo magumu ya utendaji wa jina la ulimwengu linalolingana, gharama za uhamishaji wa data wa WAN, na utekelezaji wa sera za data kati ya tovuti yanatajwa tu. Bila suluhisho thabiti hapa, bahari ya hesabu iliyounganishwa itakuwa na shida kwa mizigo ya kazi yenye data nyingi. Zaidi ya hayo, mafanikio yanategemea kabisa michango ya "kwa namna ya kifedha" ya wanachama—mfumo wa kiuchumi unaoweza kuwa dhaifu.

Uelewa Unaoweza Kutekelezwa: 1. Kwa PUNCH4NFDI: Zingatia zaidi tabaka la data. Shirikiana kwa nguvu na miradi kama Rucio kwa usimamizi wa data na Open Science Grid kwa uzoefu wa utendaji. Unda SLA wazi na watoa huduma wa rasilimali, hasa kuhusu gharama za kutoka kwa data. 2. Kwa Washindani/Wigaaji: Usiige tu usanifu. Somo la kweli liko katika utawala na mfano mwepesi wa ushirikiano. Anza na prototayp inayofanya kazi kwenye tovuti chache zinazotaka na ukupe kiasili. 3. Kwa Wauzaji na Mashirika ya Ufadhili: Mfano huu unaonyesha kwamba uwekezaji wa baadaye wa hesabu ya utafiti unapaswa kufadhili programu ya katikati ya ushirikiano na uendelevu wa programu (kama COBalD) kwa kiasi sawa, ikiwa sio zaidi, kuliko vifaa vya msingi. Fadhili "gundi."

Kwa kumalizia, njia ya PUNCH4NFDI ni mfano bora wa uhandisi wa vitendo wa miundombinu ya kidijitali. Inatambua kwamba kikwazo kikubwa katika hesabu ya kisayansi mara nyingi sio FLOPS, bali utumiaji na ufikiaji. Wakiweza kutatua changamoto ya data iliyounganishwa, watakuwa wameunda mfano wenye uwezo wa kweli wa kubadilisha sio tu hesabu ya utafiti ya Ujerumani, bali ya Ulaya pia.

9. Marejeo

1. Ushirikiano wa PUNCH4NFDI. (2024). Karatasi Nyeupe ya PUNCH4NFDI. NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Hesabu iliyogawanyika kwa vitendo: uzoefu wa Condor. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356.
3. Giffels, M., et al. (2023). COBalD/TARDIS - Kifuniko cha rasilimali kinachobadilika kwa hesabu ya fursa. Journal of Physics: Conference Series.
4. Blomer, J., et al. (2011). Mfumo wa Faili ya CernVM. Journal of Physics: Conference Series, 331(5), 052004.
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Tafsiri ya Picha hadi Picha Isiyo na Jozi kwa kutumia Mtandao wa Kupinga Unaolingana na Mzunguko. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Imetajwa kama mfano wa njia ya hesabu ya mabadiliko ambayo inaweza kutumia miundombinu kama hii iliyounganishwa).
6. Ushirikiano wa dCache. (2023). dCache: Mfumo wa hifadhi uliogawanyika. https://www.dcache.org.
7. Ushirikiano wa XRootD. (2023). XRootD: Ufikiaji wa data wenye utendaji wa juu, unaoweza kupanuka na kustahimili hitilafu. https://xrootd.slac.stanford.edu.
8. Wingu wa Sayansi ya Wazi ya Ulaya (EOSC). (2024). https://eosc-portal.eu.