Compute4PUNCH & Storage4PUNCH: PUNCH4NFDI için Federatif Altyapı

1. Giriş ve Genel Bakış

Alman Araştırma Vakfı (DFG) tarafından finanse edilen PUNCH4NFDI (Ulusal Araştırma Veri Altyapısı için Parçacıklar, Evren, Çekirdekler ve Hadronlar) konsorsiyumu, Almanya'daki parçacık, astro-, astroparçacık, hadron ve nükleer fizik topluluklarından yaklaşık 9.000 bilim insanını temsil etmektedir. Birincil misyonu, federatif, FAIR (Bulunabilir, Erişilebilir, Birlikte Çalışabilir, Yeniden Kullanılabilir) bir bilim veri platformu kurmaktır. Ele alınan merkezi bir zorluk, Almanya genelindeki üye kurumlar tarafından ayni olarak sağlanan geniş ve heterojen hesaplama (HPC, HTC, Bulut) ve depolama kaynaklarına sorunsuz entegrasyon ve birleşik erişim sağlamaktır. Bu belge, bu entegrasyon engellerini aşmak için tasarlanan Compute4PUNCH ve Storage4PUNCH kavramlarını detaylandırmaktadır.

2. Federatif Heterojen Hesaplama Altyapısı (Compute4PUNCH)

Compute4PUNCH, mevcut, çalışan ve birden fazla topluluk tarafından paylaşılan sistemlerde önemli değişiklikler dayatmadan, çeşitli hesaplama kaynaklarına şeffaf erişim sağlayan ulusal çapta bir federatif kaplama toplu iş sistemi oluşturmayı amaçlamaktadır.

2.1 Çekirdek Mimari ve Bileşenler

Mimari, federatif bir HTCondor toplu iş sistemi etrafında inşa edilmiştir. COBalD/TARDIS kaynak meta-çizelgeleyicisi, heterojen kaynakları (HPC kümeleri, HTC çiftlikleri, bulut örnekleri) bu birleşik havuzda dinamik olarak entegre eder. Kullanıcılar için giriş noktaları arasında geleneksel giriş düğümleri ve tüm kaynak manzarasına esnek arayüzler sunan bir JupyterHub hizmeti bulunur.

2.2 Erişim ve Kimlik Doğrulama (AAI)

Token tabanlı bir Kimlik Doğrulama ve Yetkilendirme Altyapısı (AAI), tüm federatif kaynaklar genelinde standartlaştırılmış, güvenli erişim sağlayarak kullanıcı deneyimini basitleştirir ve güvenliği artırır.

2.3 Yazılım Ortamı Sağlama

Çeşitli yazılım ihtiyaçlarını yönetmek için altyapı, konteyner teknolojilerinden (örn. Docker, Singularity/Apptainer) ve CERN Sanal Makine Dosya Sistemi'nden (CVMFS) yararlanır. CVMFS, topluluk özel yazılım yığınlarının ve deney verilerinin ölçeklenebilir, dağıtık dağıtımına olanak tanıyarak tutarlılığı sağlar ve hesaplama düğümlerindeki yerel depolama yükünü azaltır.

3. Federatif Depolama Altyapısı (Storage4PUNCH)

Storage4PUNCH, Yüksek Enerji Fiziği (HEP) alanında iyi yerleşmiş olan, ağırlıklı olarak dCache ve XRootD teknolojilerine dayanan, topluluk tarafından sağlanan depolama sistemlerini federasyonlaştırmaya odaklanır.

3.1 Depolama Federasyon Teknolojisi

Federasyon, kullanıcıların birden fazla kurumsal depolama sistemindeki verilere tek bir kaynakmış gibi erişmesine olanak tanıyan birleşik bir ad alanı oluşturur. Bu, Dünya Çapında LHC Hesaplama Şebekesi (WLCG) gibi büyük ölçekli işbirliklerinde kanıtlanmış protokolleri ve kavramları kullanır.

3.2 Önbellekleme ve Üstveri Stratejileri

Proje, akıllı veri önbellekleme ve üstveri işleme için mevcut teknolojileri değerlendirmektedir. Amaç, veri yerleşimini optimize etmek, gecikmeyi azaltmak ve FAIR ilkelerine dayalı veri keşfini iyileştirmek için daha derin bir entegrasyon sağlamaktır.

4. Teknik Uygulama ve Detaylar

4.1 Kaynak Çizelgeleme için Matematiksel Model

COBalD/TARDIS çizelgeleyicisi, bir optimizasyon problemi çözüyormuş gibi kavramsallaştırılabilir. $R = \{r_1, r_2, ..., r_n\}$, mimari, mevcut çekirdekler, bellek ve maliyet gibi niteliklere sahip heterojen kaynaklar kümesi olsun. $J = \{j_1, j_2, ..., j_m\}$, gereksinimleri olan işler kümesi olsun. Çizelgeleyici, kısıtlar altında bir fayda fonksiyonu $U$'yu (örn. genel verim, adalet) en üst düzeye çıkarmayı amaçlar:

$$\text{Maksimize Et } U(\text{Tahsis}(R, J))$$

$$\text{kısıtlar: } \forall r_i \in R, \text{Kullanım}(r_i) \leq \text{Kapasite}(r_i)$$

$$\text{ve } \forall j_k \in J, \text{Gereksinimler}(j_k) \subseteq \text{Nitelikler}(\text{AtananKaynak}(j_k))$$

Bu dinamik, politika odaklı yaklaşım, geleneksel statik kuyruk sistemlerinden daha esnektir.

4.2 Prototip Sonuçları ve Performans

İlk prototipler, KIT, DESY ve Bielefeld Üniversitesi gibi kurumlardan kaynakların federasyonunu başarıyla göstermiştir. Gözlemlenen temel performans metrikleri şunlardır:

İş Gönderme Gecikmesi: Kaplama sistemi minimum ek yük ekler; merkezi HTCondor havuzuna iş gönderme tipik olarak 2 saniyenin altındadır.
Kaynak Kullanımı: TARDIS tarafından sağlanan dinamik havuzlama, bireysel küme çizelgelerindeki "boşlukları" doldurarak genel kaynak kullanımında potansiyel bir artış göstermiştir.
CVMFS ile Veri Erişimi: CVMFS'ten yazılım başlangıç süreleri, ilk önbelleklemeden sonra yerel kurulumlarla karşılaştırılabilirdir; bu da ölçeklenebilir yazılım dağıtımı için kullanımını doğrulamaktadır.
Kullanıcı Deneyimi: Erken geri bildirimler, JupyterHub arayüzünün ve token tabanlı AAI'nin, komut satırı toplu iş sistemlerine aşina olmayan kullanıcılar için giriş engelini önemli ölçüde düşürdüğünü göstermektedir.

Not: Federatif ve izole işlemeyi karşılaştıran kapsamlı nicel kıyaslamalar, devam eden çalışmanın bir parçasıdır.

5. Analiz Çerçevesi ve Vaka Çalışması

Vaka Çalışması: Çoklu Haberci Astrofizik Analizi

Bir gama ışını patlaması olayını analiz eden bir astroparçacık fizikçisini düşünün. İş akışı şunları içerir:

Veri Keşfi: Gama ışını (Fermi-LAT), optik (LSST) ve yerçekimi dalgası (LIGO/Virgo) arşivlerinden ilgili veri kümelerini bulmak için federatif depolama ad alanı kullanılır; tümü birleşik bir yol üzerinden erişilebilir (örn., /punche/data/events/GRB221009A).
İş Akışı Gönderme: Araştırmacı, çok aşamalı bir analiz betiği oluşturmak için JupyterHub portalını kullanır. Betik, hem GPU hızlandırmalı görüntü işleme (optik veri için) hem de yüksek bellekli CPU görevleri (spektral uydurma için) ihtiyaçlarını belirtir.
Dinamik Yürütme: Compute4PUNCH federasyonu, COBalD/TARDIS aracılığıyla, GPU işini mevcut V100/A100 düğümleri olan bir üniversite kümesine ve yüksek bellekli işi büyük bellekli düğümleri olan bir HPC merkezine, kullanıcı müdahalesi olmadan otomatik olarak yönlendirir.
Yazılım Ortamı: Tüm işler, CVMFS'ten belirli astronomi araç takımları (örn., Astropy, Gammapy) içeren tutarlı bir konteynerleştirilmiş ortamı çeker.
Sonuç Toplama: Ara sonuçlar federatif depolamaya geri yazılır ve nihai grafikler oluşturulur; tümü aynı kimliği doğrulanmış oturum içinde yönetilir.

Bu vaka, federasyonun altyapısal karmaşıklığı nasıl soyutladığını ve bilim insanının bilimsel soruna odaklanmasına nasıl olanak tanıdığını göstermektedir.

6. Eleştirel Analiz ve Sektör Perspektifi

Temel İçgörü: PUNCH4NFDI başka bir monolitik bulut inşa etmiyor; ulusal olarak dağıtılmış, egemen araştırma altyapısı için bir federasyon katmanı—bir "meta işletim sistemi"—mühendisliği yapıyor. Bu, Avrupa'nın parçalanmış e-bilim manzarasına, değiştirmek yerine entegrasyona öncelik veren pragmatik ve güçlü bir yanıttır. Konteyner orkestrasyonu için Kubernetes gibi başarılı büyük ölçekli sistemlerin arkasındaki mimari felsefeyi yansıtır, ancak tüm veri merkezleri düzeyinde uygulanır.

Mantıksal Akış: Mantık kusursuzdur: 1) Heterojenliği ve mevcut yatırımları değişmez kısıtlar olarak kabul et. 2) Hesaplama için minimal, müdahaleci olmayan bir soyutlama katmanı (HTCondor + TARDIS) ve depolama için ad alanı federasyonu tanıt. 3) Kararlılığı sağlamak ve mevcut uzmanlıktan yararlanmak için savaşta test edilmiş, topluluk odaklı ara yazılımları (CVMFS, dCache, XRootD) yapı taşları olarak kullan. 4) Modern, kullanıcı merkezli giriş noktaları (JupyterHub, token AAI) sağla. Bu akış, kaynak sağlayıcılar için politik ve teknik sürtüşmeyi en aza indirir; bu da benimsenme için çok önemlidir.

Güçlü ve Zayıf Yönler: Projenin en büyük gücü, HEP topluluğundan olgun teknolojilerin pragmatik yeniden kullanımıdır; bu da geliştirme riskini azaltır. Müdahaleci olmayan bir kaplamaya odaklanmak politik açıdan akıllıcadır. Ancak, yaklaşım doğası gereği teknik borç taşır. Birden fazla bağımsız yönetim alanı, farklı ağ politikaları ve katmanlı çizelgeleyiciler (yerel + federatif) arasında performans sorunlarını veya hataları ayıklamanın karmaşıklığı zorlu olacaktır—bu, şebeke hesaplama literatüründe iyi belgelenmiş bir zorluktur. HTCondor'a güvenmek, sağlam olsa da, tüm HPC iş yükü modelleri için optimal olmayabilir; sıkı bağlı MPI işleri için potansiyel performans kaybına neden olabilir. Ayrıca, belge FAIR veri ilkelerinden bahsetse de, zengin, topluluklar arası üstveri kataloglarının somut uygulaması—muazzam bir zorluk—gelecekteki değerlendirmeye ertelenmiş gibi görünmektedir.

Uygulanabilir İçgörüler: Diğer konsorsiyumlar için anahtar çıkarım, "önce kaplama" stratejisidir. Ortak donanım inşa etmeye veya zorunlu kılmaya çalışmadan önce, yazılım yapıştırıcısına yatırım yapın. PUNCH4NFDI yığını (HTCondor/TARDIS + CVMFS + Federatif Depolama), ulusal araştırma bulutu girişimleri için ikna edici bir açık kaynak araç takımını temsil eder. Ancak, yarattıkları karmaşıklığı yönetmek için alanlar arası gözlemlenebilirlik araçlarına—dağıtık bilimsel hesaplama için OpenTelemetry düşünün—proaktif olarak yatırım yapmalıdırlar. Ayrıca, HTC ötesinde daha geniş uygulanabilirlik için, HPC odaklı SLURM federasyon çalışmasının unsurlarını veya bulut yerli çizelgeleyicileri entegre ederek hibrit çizelgeleme modellerini keşfetmelidirler. Bu federasyonun başarısı, pik flops ile değil, 9.000 bilim insanı için "içgörüye ulaşma süresindeki" azalma ile ölçülecektir.

7. Gelecekteki Uygulamalar ve Geliştirme Yol Haritası

PUNCH4NFDI altyapısı, birkaç gelişmiş uygulama için zemin hazırlamaktadır:

Ölçekte Yapay Zeka/Makine Öğrenimi Eğitimi: Federatif kaynak havuzu, MLPerf HPC kıyaslamaları tarafından keşfedilenlere benzer paradigmaları izleyerek, dağıtık bilimsel veri kümeleri üzerinde büyük modeller eğitmek için GPU düğüm kümelerini dinamik olarak sağlayabilir.
Etkileşimli ve Gerçek Zamanlı Analiz: Teleskoplar veya parçacık dedektörlerinden gelen gerçek zamanlı veri akışlarına bağlanan etkileşimli oturumlar ve hizmetler için gelişmiş destek, gözlemsel verilerin "canlı" analizini mümkün kılar.
Hassas Veriler için Federatif Öğrenme: Altyapı, ham veri paylaşmadan AI modellerinin birden fazla kurumda eğitildiği, gizliliği koruyan federatif öğrenme iş akışlarını destekleyecek şekilde uyarlanabilir—bu teknik, tıbbi görüntüleme ve diğer alanlarda ivme kazanmaktadır.
Avrupa Açık Bilim Bulutu (EOSC) ile Entegrasyon: Güçlü bir ulusal düğüm olarak hareket eden PUNCH4NFDI federasyonu, EOSC hizmetlerine ve kaynaklarına sorunsuz erişim sağlayabilir ve bunun tersi de geçerlidir; böylece etkisini artırır.
Kuantum-Hibrit İş Akışları: Kuantum hesaplama test yatakları mevcut hale geldikçe, federasyon, klasik ön/son işleme işlerini kuantum eko-işlemci görevleriyle birlikte çizelgeleyerek tüm hibrit iş akışını yönetebilir.

Geliştirme yol haritası muhtemelen üretim hizmetini sağlamlaştırmaya, kaynak havuzunu genişletmeye, gelişmiş veri yönetimi politikalarını uygulamaya ve hesaplama ile depolama katmanları arasındaki entegrasyonu derinleştirmeye odaklanacaktır.

8. Referanslar

PUNCH4NFDI Konsorsiyumu. (2024). PUNCH4NFDI Beyaz Kitap. [İç Konsorsiyum Belgesi].
Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
Blomer, J., et al. (2011). The CernVM File System. Journal of Physics: Conference Series, 331(5), 052004. https://doi.org/10.1088/1742-6596/331/5/052004
Fuhrmann, P., & Gulzow, V. (2006). dCache, the system for the storage of large amounts of data. 22nd IEEE Conference on Mass Storage Systems and Technologies (MSST'05). https://doi.org/10.1109/MSST.2005.47
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Karmaşık, kaynak yoğun algoritmaların hesaplama talebini artıran bir örnek olarak alıntılanmıştır).
MLCommons Association. (2023). MLPerf HPC Benchmark. https://mlcommons.org/benchmarks/hpc/ (HPC sistemlerinde AI/ML iş yükleri için bir referans olarak alıntılanmıştır).
European Commission. (2024). European Open Science Cloud (EOSC). https://eosc-portal.eu/