Infrastruktur Pengkomputeran dan Penyimpanan Heterogen Teragih untuk PUNCH4NFDI

1. Pengenalan

PUNCH4NFDI (Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure) ialah sebuah konsortium utama Jerman yang dibiayai oleh DFG (Deutsche Forschungsgemeinschaft). Ia mewakili kira-kira 9,000 saintis daripada komuniti fizik zarah, astro-, astrozarah, hadron dan nuklear. Matlamat utama konsortium ini adalah untuk mewujudkan platform data sains teragih yang FAIR (Findable, Accessible, Interoperable, Reusable). Sumbangan ini secara khusus memperincikan konsep seni bina—Compute4PUNCH dan Storage4PUNCH—yang direka untuk menyatukan akses kepada sumber pengkomputeran (HPC, HTC, Awan) dan penyimpanan yang sangat heterogen yang disumbangkan secara in-kind oleh institusi ahli di seluruh Jerman.

2. Infrastruktur Pengkomputeran Heterogen Teragih – Compute4PUNCH

Inisiatif Compute4PUNCH menangani cabaran menyediakan akses lancar kepada pelbagai sumber pengkomputeran sedia ada tanpa mengenakan perubahan besar pada model operasi pembekal sumber.

3. Infrastruktur Penyimpanan Teragih – Storage4PUNCH

Storage4PUNCH bertujuan untuk mengagihkan sistem penyimpanan komuniti, terutamanya berasaskan teknologi dCache dan XRootD, yang telah mantap dalam Fizik Tenaga Tinggi (HEP).

4. Butiran Teknikal & Kerangka Matematik

Logik penjadualan teras dalam COBalD/TARDIS boleh dimodelkan sebagai masalah pengoptimuman. Biarkan $R = \{r_1, r_2, ..., r_n\}$ menjadi set permintaan sumber daripada kolam HTCondor, dan $B = \{b_1, b_2, ..., b_m\}$ menjadi set jenis sumber backend yang tersedia (contohnya, nod HPC, VM Awan). Setiap permintaan $r_i$ mempunyai keperluan (teras, memori, perisian). Setiap backend $b_j$ mempunyai fungsi kos $C_j(r_i)$ dan masa peruntukan $T_j(r_i)$.

Objektif penjadual meta adalah untuk mencari pemetaan $M: R \rightarrow B$ yang meminimumkan fungsi kos keseluruhan, selalunya jumlah wajaran kos kewangan dan masa untuk penyiapan, tertakluk kepada kekangan seperti kuota backend dan ketersediaan perisian:

$$\min_{M} \sum_{r_i \in R} \left[ \alpha \cdot C_{M(r_i)}(r_i) + \beta \cdot T_{M(r_i)}(r_i) \right]$$

di mana $\alpha$ dan $\beta$ ialah faktor pemberat. Ini memformalkan cabaran integrasi "dinamik dan telus".

5. Keputusan Prototaip & Prestasi

Kertas kerja ini melaporkan pengalaman awal dengan aplikasi saintifik yang berjalan pada prototaip yang tersedia. Walaupun penanda aras kuantitatif khusus tidak diperincikan dalam petikan yang diberikan, pelaksanaan yang berjaya membayangkan:

• Integrasi Fungsian: Timbunan HTCondor/COBalD/TARDIS berjaya mengarahkan kerja kepada sistem backend yang berbeza (HTC, HPC, Awan).
• Penghantaran Perisian: CVMFS dan kontena menyediakan persekitaran perisian yang diperlukan dengan boleh dipercayai merentasi nod pekerja heterogen.
• Akses Pengguna: JupyterHub dan nod log masuk berfungsi sebagai titik masuk yang berkesan untuk penyelidik.

Gambarajah Konseptual: Seni bina sistem boleh divisualisasikan sebagai model tiga lapisan:

1. Lapisan Akses Pengguna: JupyterHub, Nod Log Masuk, Token AAI.
2. Lapisan Pengagihan & Penjadualan: Kolam HTCondor + Penjadual Meta COBalD/TARDIS.
3. Lapisan Sumber: Backend heterogen (kluster HPC, ladang HTC, VM Awan) dan penyimpanan teragih (contoh dCache, XRootD).

6. Kerangka Analisis: Satu Senario Penggunaan

Senario: Seorang penyelidik fizik nuklear perlu memproses 10,000 tugasan simulasi Monte Carlo, setiap satu memerlukan 4 teras CPU, 16 GB RAM, dan timbunan perisian tertentu (Geant4, ROOT).

1. Penghantaran: Penyelidik log masuk ke PUNCH JupyterHub, menulis skrip analisis, dan menghantar 10,000 kerja kepada penjadual HTCondor tempatan.
2. Penjadualan Meta: COBalD/TARDIS memantau baris gilir HTCondor. Ia menilai backend yang tersedia: Ladang HTC Universiti A (kos rendah, masa baris gilir tinggi), Kluster HPC Institut B (kos sederhana, perkakasan khusus), dan awan komersial (kos tinggi, ketersediaan segera).
3. Keputusan & Pelaksanaan: Menggunakan model kosnya, TARDIS mungkin memutuskan untuk meledakkan 2,000 kerja segera ke awan untuk bermula dengan cepat, sambil mengalirkan baki secara stabil di ladang HTC yang lebih murah. Ia menggunakan token AAI untuk pengesahan pada semua sistem.
4. Perisian & Data: Setiap kerja, tanpa mengira backend, menarik persekitaran Geant4/ROOTnya daripada CVMFS. Data input diambil daripada ruang nama Storage4PUNCH teragih (contohnya, melalui XRootD), dan output ditulis semula ke titik akhir penyimpanan yang ditetapkan.
5. Penyiapan: Penyelidik memantau dan mengagregat keputusan daripada baris gilir kerja HTCondor tunggal, tanpa menyedari pelaksanaan multi-infrastruktur asas.

7. Analisis Kritikal & Perspektif Pakar

Wawasan Teras: PUNCH4NFDI tidak membina satu lagi awan; ia merekayasa lapisan pengagihan pragmatisme politik dan teknikal yang luar biasa. Inovasi sebenarnya terletak pada penjadual meta COBalD/TARDIS, yang bertindak sebagai "penterjemah diplomatik" untuk perkongsian sumber, bukan penyatu penakluk. Ini mengakui kedaulatan kluster institusi sedia ada—realiti yang tidak boleh dirunding dalam akademik Jerman—sambil masih mencipta sumber supra yang berfungsi.

Aliran Logik: Logiknya sempurna: mulakan dengan pengguna (JupyterHub/log masuk), abstrakkan kekacauan melalui penjadual yang teruji (HTCondor), kemudian gunakan broker pintar (TARDIS) untuk memetakan permintaan abstrak ke atas backend konkrit yang boleh dilaksanakan secara politik. Kebergantungan pada CVMFS dan kontena untuk perisian adalah langkah bijak, menyelesaikan masalah "neraka kebergantungan" yang membelenggu kebanyakan pengagihan. Strategi penyimpanan adalah bijak secara konservatif, dibina di atas duo dCache/XRootD yang terbukti daripada HEP, mengelakkan kancah cuba memaksa satu teknologi baru.

Kekuatan & Kelemahan:

• Kekuatan: Pencerobohan minimum adalah kuasa supernya. Ia tidak memerlukan pembekal menukar polisi tempatan mereka. Penggunaan alat matang, didorong komuniti (HTCondor, CVMFS, dCache) secara drastik mengurangkan risiko dan meningkatkan kemampanan, tidak seperti projek yang dibina di atas rangka kerja khas. Fokus pada prinsip FAIR selaras sempurna dengan mandat pembiayaan moden.
• Kelemahan & Risiko: Pendekatan penjadual meta memperkenalkan titik kerumitan dan kegagalan berpotensi tunggal. COBalD/TARDIS, walaupun menjanjikan, tidak sehebat komponen lain. "Penilaian" teknologi cache/metadata (seperti Rucio) membayangkan bahagian paling sukar masih di hadapan: pengurusan data pintar. Tanpanya, ini adalah pengagihan pengkomputeran dengan direktori penyimpanan terlampir, bukan platform berpusat data yang padu. Terdapat juga risiko tersembunyi ketidakbolehramalan prestasi untuk pengguna, kerana kerja mereka melompat antara seni bina yang berbeza asasnya.

Wawasan Boleh Tindak:

1. Untuk Arkitek PUNCH: Perkukuhkan lagi TARDIS supaya teguh dan boleh diperhatikan. Metrik dan log keputusannya adalah emas untuk pengoptimuman dan pembinaan kepercayaan. Utamakan integrasi lapisan pengurusan data (seperti Rucio) seterusnya; pengkomputeran tanpa data pintar adalah separuh penyelesaian.
2. Untuk Konsortium Lain: Ini adalah cetak biru yang patut dicontohi, terutamanya falsafah "integrasi menggantikan penggantian". Walau bagaimanapun, nilai jika komuniti anda mempunyai setara dengan CVMFS—jika tidak, itu adalah keputusan bina/beli pertama anda.
3. Untuk Pembekal Sumber: Model ini berisiko rendah untuk anda. Libatkan diri dengannya. AAI berasaskan token adalah cara bersih untuk menawarkan akses tanpa menjejaskan keselamatan tempatan. Ia adalah keuntungan bersih untuk keterlihatan dan penggunaan.

8. Aplikasi Masa Depan & Peta Jalan Pembangunan

Infrastruktur PUNCH4NFDI meletakkan asas untuk beberapa aplikasi lanjutan dan arah penyelidikan:

• Aliran Kerja Rentas Domain: Membolehkan saluran paip analisis pelbagai langkah yang kompleks yang bergerak lancar antara simulasi (HPC), pemprosesan peristiwa berdaya olahan tinggi (HTC), dan latihan pembelajaran mesin (GPU Awan).
• Penjadualan Berpusat Data: Mengintegrasikan pengagihan penyimpanan dengan lebih mendalam dengan penjadual pengkomputeran. Versi COBald/TARDIS masa depan boleh memfaktorkan lokasi data (meminimumkan pemindahan WAN) dan pra-pementasan ke dalam fungsi kosnya, bergerak ke arah penjadualan sedar data.
• Integrasi dengan Repositori Data FAIR: Berfungsi sebagai tulang belakang pengkomputeran berprestasi tinggi untuk repositori data FAIR kebangsaan, membolehkan penyelidik menganalisis set data besar secara langsung di mana ia disimpan, mengikut paradigma "komputer-ke-data".
• AI/ML sebagai Perkhidmatan: Antara muka JupyterHub dan backend berskala boleh diperluaskan dengan persekitaran terkurasi untuk rangka kerja AI/ML khusus (PyTorch, TensorFlow) dan akses kepada sumber GPU, mendemokrasikan AI untuk sains fizikal.
• Pengembangan kepada Sumber Antarabangsa: Model pengagihan boleh diperluaskan untuk menggabungkan sumber daripada inisiatif Eropah seperti European Open Science Cloud (EOSC) atau tapak grid pengkomputeran LHC (WLCG), mencipta infrastruktur penyelidikan pan-Eropah yang sebenar.

Peta jalan mungkin melibatkan mengukuhkan prototaip semasa, menskalakan bilangan sumber bersepadu, melaksanakan penyelesaian metadata/cache yang dinilai, dan membangunkan mekanisme dasar dan perakaunan yang lebih canggih untuk penggunaan sumber perkongsian saksama merentasi konsortium.

9. Rujukan

1. Konsortium PUNCH4NFDI. (2024). Kertas Putih PUNCH4NFDI. [Dokumen Konsortium Dalaman].
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and computation: practice and experience, 17(2-4), 323-356.
3. Blomer, J., et al. (2011). The CernVM file system. Journal of Physics: Conference Series, 331(5), 052004.
4. Dokumentasi COBalD/TARDIS. (t.t.). Diperoleh daripada https://tardis.readthedocs.io/
5. Kolaborasi dCache. (t.t.). dCache: Sistem penyimpanan teragih. https://www.dcache.org/
6. Kolaborasi XRootD. (t.t.). XRootD: Akses data berprestasi tinggi, berskala, toleran ralat. http://xrootd.org/
7. Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific data, 3(1), 1-9.
8. European Open Science Cloud (EOSC). (t.t.). https://eosc-portal.eu/
9. Worldwide LHC Computing Grid (WLCG). (t.t.). https://wlcg.web.cern.ch/