PUNCH4NFDI için Federatif Heterojen Hesaplama ve Depolama Altyapısı

1. Giriş

PUNCH4NFDI (Ulusal Araştırma Veri Altyapısı için Parçacıklar, Evren, Çekirdekler ve Hadronlar), DFG (Deutsche Forschungsgemeinschaft) tarafından finanse edilen büyük bir Alman konsorsiyumudur. Parçacık, astro-, astroparçacık, hadron ve nükleer fizik topluluklarından yaklaşık 9.000 bilim insanını temsil etmektedir. Konsorsiyumun temel amacı, federatif, FAIR (Bulunabilir, Erişilebilir, Birlikte Çalışabilir, Yeniden Kullanılabilir) bir bilim veri platformu kurmaktır. Bu katkı, özellikle Almanya genelindeki üye kurumlar tarafından sağlanan son derece heterojen hesaplama (HPC, HTC, Bulut) ve depolama kaynaklarına birleşik erişim sağlamak için tasarlanan Compute4PUNCH ve Storage4PUNCH mimari kavramlarını detaylandırmaktadır.

2. Federatif Heterojen Hesaplama Altyapısı – Compute4PUNCH

Compute4PUNCH girişimi, kaynak sağlayıcıların operasyonel modellerinde büyük değişiklikler gerektirmeden, mevcut çeşitli hesaplama kaynaklarına sorunsuz erişim sağlama zorluğunu ele almaktadır.

3. Federatif Depolama Altyapısı – Storage4PUNCH

Storage4PUNCH, temel olarak Yüksek Enerji Fiziği'nde (HEP) iyi yerleşmiş olan dCache ve XRootD teknolojilerine dayanan topluluk depolama sistemlerini federasyonlaştırmayı amaçlamaktadır.

4. Teknik Detaylar ve Matematiksel Çerçeve

COBalD/TARDIS'teki çekirdek zamanlama mantığı bir optimizasyon problemi olarak modellenebilir. $R = \{r_1, r_2, ..., r_n\}$, HTCondor havuzundan gelen kaynak talepleri kümesi ve $B = \{b_1, b_2, ..., b_m\}$, mevcut arka uç kaynak türleri kümesi (örn., HPC düğümü, Bulut VM) olsun. Her $r_i$ talebinin gereksinimleri (çekirdek, bellek, yazılım) vardır. Her $b_j$ arka ucunun bir maliyet fonksiyonu $C_j(r_i)$ ve bir sağlama süresi $T_j(r_i)$ vardır.

Meta-zamanlayıcının amacı, arka uç kotaları ve yazılım kullanılabilirliği gibi kısıtlamalara tabi olarak, genellikle finansal maliyet ve tamamlanma süresinin ağırlıklı bir toplamı olan toplam bir maliyet fonksiyonunu minimize eden bir eşleme $M: R \rightarrow B$ bulmaktır:

$$\min_{M} \sum_{r_i \in R} \left[ \alpha \cdot C_{M(r_i)}(r_i) + \beta \cdot T_{M(r_i)}(r_i) \right]$$

Burada $\alpha$ ve $\beta$ ağırlık faktörleridir. Bu, "dinamik ve şeffaf" entegrasyon zorluğunu formalize eder.

5. Prototip Sonuçları ve Performans

Makale, mevcut prototipler üzerinde çalışan bilimsel uygulamalarla ilk deneyimleri rapor etmektedir. Sağlanan alıntıda spesifik nicel kıyaslamalar detaylandırılmamış olsa da, başarılı yürütme şunları ima etmektedir:

• Fonksiyonel Entegrasyon: HTCondor/COBalD/TARDIS yığını, işleri farklı arka uç sistemlerine (HTC, HPC, Bulut) başarıyla yönlendirdi.
• Yazılım Teslimi: CVMFS ve konteynerler, heterojen çalışan düğümlerde gerekli yazılım ortamlarını güvenilir bir şekilde sağladı.
• Kullanıcı Erişimi: JupyterHub ve giriş düğümleri, araştırmacılar için etkili giriş noktaları olarak hizmet etti.

Kavramsal Şema: Sistem mimarisi üç katmanlı bir model olarak görselleştirilebilir:

1. Kullanıcı Erişim Katmanı: JupyterHub, Giriş Düğümleri, Token AAI.
2. Federasyon ve Zamanlama Katmanı: HTCondor Havuzu + COBalD/TARDIS Meta-zamanlayıcı.
3. Kaynak Katmanı: Heterojen arka uçlar (HPC kümeleri, HTC çiftlikleri, Bulut VM'leri) ve federatif depolama (dCache, XRootD örnekleri).

6. Analiz Çerçevesi: Bir Kullanım Senaryosu

Senaryo: Bir nükleer fizik araştırmacısı, her biri 4 CPU çekirdeği, 16 GB RAM ve belirli bir yazılım yığını (Geant4, ROOT) gerektiren 10.000 Monte Carlo simülasyon görevini işlemek istemektedir.

1. Gönderim: Araştırmacı PUNCH JupyterHub'a giriş yapar, bir analiz betiği yazar ve 10.000 işi yerel HTCondor zamanlayıcısına gönderir.
2. Meta-Zamanlama: COBalD/TARDIS, HTCondor kuyruğunu izler. Mevcut arka uçları değerlendirir: Üniversite A'nın HTC çiftliği (düşük maliyet, yüksek kuyruk süresi), Enstitü B'nin HPC kümesi (orta maliyet, özel donanım) ve ticari bir bulut (yüksek maliyet, anında kullanılabilirlik).
3. Karar ve Yürütme: Maliyet modelini kullanarak, TARDIS hızlı başlamak için 2.000 acil işi buluta patlatmaya karar verebilirken, geri kalanını daha ucuz HTC çiftliğinde sürekli olarak boşaltabilir. Tüm sistemlerde kimlik doğrulama için token AAI'yi kullanır.
4. Yazılım ve Veri: Her iş, arka uçtan bağımsız olarak, Geant4/ROOT ortamını CVMFS'ten çeker. Girdi verileri federatif Storage4PUNCH ad alanından (örn., XRootD üzerinden) alınır ve çıktı belirlenmiş bir depolama uç noktasına geri yazılır.
5. Tamamlanma: Araştırmacı, tek HTCondor iş kuyruğundan sonuçları izler ve toplar, altta yatan çoklu altyapı yürütmesinden habersizdir.

7. Eleştirel Analiz ve Uzman Görüşü

Çekirdek İçgörü: PUNCH4NFDI başka bir bulut inşa etmiyor; dikkate değer politik ve teknik pragmatizme sahip bir federasyon katmanı mühendisliği yapıyor. Gerçek yeniliği, kaynak paylaşımı için "diplomatik bir çevirmen" gibi hareket eden, fethedici bir birleştirici olmayan COBalD/TARDIS meta-zamanlayıcısında yatıyor. Bu, Alman akademisinde pazarlık edilemez bir gerçeklik olan mevcut kurumsal kümelerin egemenliğini kabul ederken, yine de işlevsel bir üst kaynak yaratıyor.

Mantıksal Akış: Mantık kusursuz: kullanıcıyla başla (JupyterHub/giriş), savaşta test edilmiş bir zamanlayıcı (HTCondor) aracılığıyla kaosu soyutla, ardından soyut talepleri somut, politik olarak uygulanabilir arka uçlara eşlemek için akıllı bir aracı (TARDIS) kullan. Yazılım için CVMFS ve konteynerlere güvenmek bir ustalık hamlesidir ve çoğu federasyonu rahatsız eden "bağımlılık cehennemi" problemini çözer. Depolama stratejisi bilgece muhafazakardır, HEP'ten kanıtlanmış dCache/XRootD ikilisi üzerine inşa eder, tek bir yeni teknolojiyi zorlamaya çalışmanın bataklığından kaçınır.

Güçlü ve Zayıf Yönler:

• Güçlü Yönler: Minimal müdahale onun süper gücüdür. Sağlayıcıların yerel politikalarını değiştirmesini gerektirmez. Olgun, topluluk odaklı araçların (HTCondor, CVMFS, dCache) kullanımı, özel çerçeveler üzerine inşa edilen projelerin aksine riski büyük ölçüde azaltır ve sürdürülebilirliği artırır. FAIR ilkelerine odaklanma, modern fonlama zorunluluklarıyla mükemmel bir şekilde uyumludur.
• Zayıf Yönler ve Riskler: Meta-zamanlayıcı yaklaşımı, tek bir karmaşıklık ve potansiyel başarısızlık noktası getirir. COBalD/TARDIS, umut verici olsa da, diğer bileşenler kadar savaşta sertleşmiş değildir. Önbellekleme/metaveri teknolojilerinin (Rucio gibi) "değerlendirilmesi", en zor kısmın önümüzde olduğuna işaret eder: akıllı veri yönetimi. Bu olmadan, bu, eklenmiş bir depolama dizini olan bir hesaplama federasyonudur, tutarlı bir veri merkezli platform değil. Ayrıca, işleri temelde farklı mimariler arasında atladığı için kullanıcılar için performans öngörülemezliği riski de gizlidir.

Uygulanabilir İçgörüler:

1. PUNCH Mimarileri İçin: TARDIS'i sağlam ve gözlemlenebilir yapmaya çift katmanlı bir şekilde odaklanın. Metrikleri ve karar günlükleri optimizasyon ve güven oluşturma için altın değerindedir. Bir sonraki adım olarak bir veri yönetim katmanının (Rucio gibi) entegrasyonuna öncelik verin; akıllı veri olmadan hesaplama yarım bir çözümdür.
2. Diğer Konsorsiyumlar İçin: Bu, özellikle "değiştirme yerine entegrasyon" felsefesiyle taklit edilmeye değer bir şablondur. Ancak, topluluğunuzun CVMFS'e eşdeğer bir şeyi olup olmadığını değerlendirin—eğer yoksa, bu sizin ilk inşa/edinim kararınızdır.
3. Kaynak Sağlayıcılar İçin: Bu model sizin için düşük risklidir. Buna katılın. Token tabanlı AAI, yerel güvenliği tehlikeye atmadan erişim sunmanın temiz bir yoludur. Görünürlük ve kullanım için net bir kazançtır.

8. Gelecekteki Uygulamalar ve Geliştirme Yol Haritası

PUNCH4NFDI altyapısı, birkaç ileri uygulama ve araştırma yönü için temel oluşturmaktadır:

• Çoklu Alan İş Akışları: Simülasyon (HPC), yüksek verimli olay işleme (HTC) ve makine öğrenimi eğitimi (Bulut GPU'ları) arasında sorunsuzca hareket eden karmaşık, çok adımlı analiz boru hatlarını etkinleştirme.
• Veri Merkezli Zamanlama: Depolama federasyonunu hesaplama zamanlayıcısıyla daha derinden entegre etme. COBald/TARDIS'ın gelecek sürümleri, veri yerelliğini (WAN transferlerini minimize etme) ve ön hazırlığı maliyet fonksiyonuna dahil edebilir, böylece veri farkında zamanlamaya doğru ilerleyebilir.
• FAIR Veri Depolarıyla Entegrasyon: Ulusal FAIR veri depoları için yüksek performanslı hesaplama omurgası olarak hizmet etme, araştırmacıların büyük veri kümelerini depolandıkları yerde doğrudan analiz etmelerine izin vererek, "veriye hesaplama" paradigmasını takip etme.
• Hizmet Olarak YZ/ML: JupyterHub arayüzü ve ölçeklenebilir arka uç, özel YZ/ML çerçeveleri (PyTorch, TensorFlow) için küratörlü ortamlar ve GPU kaynaklarına erişimle genişletilebilir, fizik bilimleri için YZ'yi demokratikleştirebilir.
• Uluslararası Kaynaklara Genişleme: Federasyon modeli, Avrupa Açık Bilim Bulutu (EOSC) veya LHC hesaplama ızgarası (WLCG) siteleri gibi Avrupa girişimlerinden kaynakları dahil edecek şekilde genişletilebilir, böylece gerçekten pan-Avrupa bir araştırma altyapısı oluşturulabilir.

Yol haritası muhtemelen mevcut prototipi sağlamlaştırmayı, entegre edilen kaynak sayısını ölçeklendirmeyi, değerlendirilen metaveri/önbellekleme çözümlerini uygulamayı ve konsorsiyum genelinde adil paylaşımlı kaynak kullanımı için daha sofistike politika ve muhasebe mekanizmaları geliştirmeyi içermektedir.

9. Kaynaklar

1. PUNCH4NFDI Konsorsiyumu. (2024). PUNCH4NFDI Beyaz Kitap. [İç Konsorsiyum Belgesi].
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and computation: practice and experience, 17(2-4), 323-356.
3. Blomer, J., et al. (2011). The CernVM file system. Journal of Physics: Conference Series, 331(5), 052004.
4. COBalD/TARDIS Dokümantasyonu. (t.y.). https://tardis.readthedocs.io/ adresinden alındı.
5. dCache İşbirliği. (t.y.). dCache: Dağıtılmış bir depolama sistemi. https://www.dcache.org/
6. XRootD İşbirliği. (t.y.). XRootD: Yüksek performanslı, ölçeklenebilir hata toleranslı veri erişimi. http://xrootd.org/
7. Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific data, 3(1), 1-9.
8. Avrupa Açık Bilim Bulutu (EOSC). (t.y.). https://eosc-portal.eu/
9. Dünya Çapında LHC Hesaplama Izgarası (WLCG). (t.y.). https://wlcg.web.cern.ch/