PUNCH4NFDI için Federatif Heterojen Hesaplama ve Depolama Altyapısı

1. Giriş

Alman Araştırma Vakfı (DFG) tarafından finanse edilen PUNCH4NFDI (Ulusal Araştırma Veri Altyapısı için Parçacıklar, Evren, Çekirdekler ve Hadronlar) konsorsiyumu, parçacık, astro-, astroparçacık, hadron ve nükleer fizik topluluklarından yaklaşık 9.000 bilim insanını temsil etmektedir. Daha geniş NFDI girişimi içinde yer alan konsorsiyumun temel amacı, federatif ve FAIR (Bulunabilir, Erişilebilir, Birlikte Çalışabilir, Yeniden Kullanılabilir) bir bilim veri platformu oluşturmaktır. Bu platform, katılımcı kurumların çeşitli hesaplama ve depolama kaynaklarına sorunsuz erişim sağlamayı, üstel olarak artan veri hacimleri ve hesaplama yoğun analiz algoritmalarının ortaya çıkardığı ortak zorlukları ele almayı amaçlamaktadır. Bu belge, Almanya'nın heterojen araştırma altyapısını federasyonlaştırmak için tasarlanan mimari kavramlara—Compute4PUNCH ve Storage4PUNCH—odaklanmaktadır.

2. Federatif Heterojen Hesaplama Altyapısı – Compute4PUNCH

Compute4PUNCH, Almanya genelinde dağılmış, Yüksek Verimli Hesaplama (HTC), Yüksek Performanslı Hesaplama (HPC) ve Bulut sistemleri dahil olmak üzere geniş bir yelpazedeki ayni katkılı kaynakların etkin bir şekilde kullanılması zorluğunu ele almaktadır. Bu kaynaklar mimari, işletim sistemleri, yazılım yığınları ve erişim politikaları açısından farklılık göstermektedir. Temel tasarım ilkesi, mevcut, çalışır durumdaki kaynak sağlayıcılar üzerinde en az müdahale ile birleşik bir üst katman sistemi oluşturmaktır.

2.1. Temel Mimari ve Entegrasyon

Federasyon, merkezi toplu iş sistemi üst katmanı olarak HTCondor etrafında inşa edilmiştir. Heterojen kaynaklar, COBalD/TARDIS kaynak üst düzey çizelgeleyicisi kullanılarak dinamik olarak entegre edilir. COBalD/TARDIS, kaynak kullanılabilirliği, iş gereksinimleri ve politikalara dayanarak işleri uygun arka uçlara (örn. Slurm, Kubernetes kümeleri) pilotluk eden akıllı bir aracı olarak hareket eder. Bu, fiziksel olarak farklı sistemlerden tek, mantıksal bir kaynak havuzu oluşturur.

2.2. Kullanıcı Erişimi ve Yazılım Ortamı

Kullanıcı giriş noktaları, geleneksel giriş düğümleri ve bir JupyterHub hizmeti aracılığıyla sağlanır. Token tabanlı bir Kimlik Doğrulama ve Yetkilendirme Altyapısı (AAI) erişimi standartlaştırır. Yazılım ortamı karmaşıklığı, konteyner teknolojileri (örn. Docker, Singularity/Apptainer) ve ölçeklenebilir, salt okunur yazılım dağıtımlarını küresel olarak hesaplama düğümlerine ulaştıran CERN Sanal Makine Dosya Sistemi (CVMFS) aracılığıyla yönetilir.

3. Federatif Depolama Altyapısı – Storage4PUNCH

Storage4PUNCH, başta Yüksek Enerji Fiziği (HEP) alanında iyi bilinen dCache ve XRootD teknolojilerine dayanan, topluluk tarafından sağlanan depolama sistemlerini federasyonlaştırmayı amaçlamaktadır. Federasyon, birleşik bir veri erişim katmanı sunmak için ortak ad alanları ve protokoller (xrootd, WebDAV gibi) kullanır. Kavram ayrıca, federasyon genelinde veri yerelliğini ve keşfedilebilirliğini iyileştirmek için önbellekleme çözümlerini ve meta veri işleme hizmetlerini entegre etmeyi de değerlendirmektedir.

4. Teknik Uygulama ve Bileşenler

4.1. Kimlik Doğrulama ve Yetkilendirme (AAI)

Token tabanlı bir AAI (muhtemelen WLCG IAM veya INDIGO IAM'a benzer şekilde OAuth 2.0/OpenID Connect standartlarını kullanarak) tek oturum açma deneyimi sağlar. Topluluk kimliklerini yerel kaynak izinlerine eşler, böylece heterojen yerel kimlik doğrulama sistemlerini (örn. Kerberos, SSH anahtarları) soyutlar.

4.2. Kaynak Üst Düzey Çizelgeleme: COBalD/TARDIS

COBalD (Koordinatör) ve TARDIS (Şeffaf Uyarlanabilir Kaynak Dinamik Entegrasyon Sistemi) birlikte çalışır. COBalD üst düzey çizelgeleme kararları alırken, TARDIS hedef kaynaklardaki "pilot" veya "yer tutucu işlerin" yaşam döngüsünü yönetir. Bu ayrıştırma, esnek politika uygulamasına (örn. maliyet, adalet, öncelik) ve dalgalanan kaynak durumlarına dinamik uyum sağlamaya olanak tanır. Çizelgeleme, bir maliyet fonksiyonunu $C_{total} = \sum_{i}(w_i \cdot T_i) + \lambda \cdot R$ minimize eden bir optimizasyon problemi olarak modellenebilir; burada $T_i$, $i$ işinin tamamlanma süresi, $w_i$ onun öncelik ağırlığı, $R$ kaynak kullanım maliyetini temsil eder ve $\lambda$ bir dengeleme parametresidir.

4.3. Veri ve Yazılım Katmanı

CVMFS yazılım dağıtımı için kritik öneme sahiptir. İçerik adreslenebilir bir depolama modeli ve agresif önbellekleme (Stratum 0/1 sunucuları ve yerel Squid önbellekleri ile) kullanarak yazılım depolarını verimli bir şekilde ulaştırır. Federasyon muhtemelen bir CVMFS katmanı hiyerarşisi kullanır; merkezi bir PUNCH deposu stratum 0 ve kurumsal stratum 1 aynaları bulunur. Veri erişimi benzer bir federatif model izler; depolama elemanları (SE'ler) uç noktalarını küresel bir dizine (Rucio veya basit bir REST servisi gibi) yayınlar, böylece istemciler veri konumlarını şeffaf bir şekilde çözümleyebilir.

5. Prototip Durumu ve İlk Deneyimler

Belge, hem Compute4PUNCH hem de Storage4PUNCH prototiplerinin çalışır durumda olduğunu göstermektedir. İlk bilimsel uygulamalar yürütülmüş olup, performans, kullanılabilirlik ve entegrasyon zorlukları hakkında değerli geri bildirimler sağlamıştır. Alıntıda spesifik kıyaslama sayıları verilmemiş olsa da, başarılı yürütme, üst katman toplu iş sistemi, AAI entegrasyonu ve CVMFS aracılığıyla yazılım dağıtımının temel işlevselliğinin doğrulandığını ima etmektedir. Bu deneyimler, politika yapılandırması, hata işleme ve kullanıcı dokümantasyonundaki iyileştirmelere rehberlik etmektedir.

7. Teknik Derinlemesine İnceleme

Kaynak Çizelgeleme için Matematiksel Model: COBalD/TARDIS sistemi, kısıtlı bir optimizasyon problemini çözmek olarak kavramsallaştırılabilir. $J$ işler kümesi, $R$ kaynaklar kümesi ve $S$ kaynak durumları kümesi (örn. boşta, meşgul, drenaj) olsun. Çizelgeleyici, iş önceliği $p_j$, kaynak verimliliği $e_{j,r}$ ve maliyet $c_r$'yi dikkate alan bir fayda fonksiyonu $U$'yu maksimize etmeyi amaçlar: $$\max \sum_{j \in J} \sum_{r \in R} x_{j,r} \cdot U(p_j, e_{j,r}, c_r)$$ kısıtlamalara tabi: $$\sum_{j} x_{j,r} \leq C_r \quad \forall r \in R \quad \text{(Kaynak Kapasitesi)}$$ $$\sum_{r} x_{j,r} \leq 1 \quad \forall j \in J \quad \text{(İş Ataması)}$$ $$x_{j,r} \in \{0,1\} \quad \text{(İkili Karar Değişkeni)}$$ burada $x_{j,r}=1$, eğer $j$ işi $r$ kaynağına atanmışsa. TARDIS, gerçek zamanlı durum $S$'e dayanarak atamaların fizibilitesini dinamik olarak yönetir.

Deneysel Sonuçlar ve Diyagram Açıklaması: Sağlanan PDF alıntısı spesifik performans grafikleri içermese de, tipik bir değerlendirme şunları karşılaştıran diyagramlar içerir:
1. Zaman İçinde İş Verimi: Federatif havuzda tamamlanan saatlik iş sayısını bireysel kaynak kümelerine karşı gösteren, toplamanın faydasını gösteren bir çizgi grafik.
2. Kaynak Kullanım Isı Haritası: Farklı kaynak sağlayıcıları (KIT, DESY, Bielefeld, vb.) üzerinde bir hafta boyunca kullanılan CPU/GPU yüzdesini gösteren, yük dengeleme etkinliğini vurgulayan bir ızgara görselleştirmesi.
3. İş Başlatma Gecikmesi CDF: Federatif sistemde iş gönderiminden yürütme başlangıcına kadar geçen süreyi, yerel bir toplu iş sistemine doğrudan gönderimle karşılaştıran bir Kümülatif Dağılım Fonksiyonu grafiği, üst düzey çizelgeleme ek yükünü ortaya koyar.
4. Veri Erişim Performansı: Yerel olarak, aynı bölgedeki federatif bir depolama elemanından ve uzak bir federatif elemandan erişilen veriler için okuma/yazma hızlarını karşılaştıran, önbellekleme ve ağın etkisini gösteren bir çubuk grafik.

8. Analiz Çerçevesi ve Kavramsal Model

Vaka Çalışması: Astronomik Tarama Verilerinin Federatif Analizi
Senaryo: Thüringer Landessternwarte Tautenburg'taki bir araştırma grubu, galaksi kümelerini tanımlamak için Sloan Dijital Gökyüzü Taraması'ndan (SDSS) 1 PB görüntü verisini işlemek zorundadır; bu yaklaşık 100.000 CPU-saat gerektiren hesaplama yoğun bir görevdir.
Compute4PUNCH/Storage4PUNCH ile Süreç:
1. Kimlik Doğrulama: Araştırmacı, kurumsal kimlik bilgilerini (token tabanlı AAI aracılığıyla) kullanarak PUNCH JupyterHub'a giriş yapar.
2. Yazılım Ortamı: Jupyter notebook çekirdeği, CVMFS üzerinde barındırılan ve gerekli tüm astronomi paketlerini (Astropy, SExtractor, vb.) içeren bir konteyner imajından çalışır.
3. İş Tanımı ve Gönderimi: Notebook'ta bir parametre tarama işi tanımlarlar. Notebook, bunları federatif havuza bir HTCondor DAG (Yönlendirilmiş Döngüsüz Grafik) olarak göndermek için bir PUNCH istemci kütüphanesi kullanır.
4. Kaynak Eşleştirme ve Yürütme: COBalD/TARDIS iş gereksinimlerini (CPU, bellek, muhtemelen GPU) değerlendirir ve bunları, örneğin KIT'teki HTC havuzları, Bielefeld Üniversitesi'ndeki HPC kuyrukları ve DESY'deki bulut düğümleri gibi mevcut yuvalara pilotlar. İşler, girdi verilerini en yakın depolama konumundan, muhtemelen bir önbellekten yararlanarak federatif XRootD ad alanı üzerinden okur.
5. Sonuç Toplama: Çıktı dosyaları federatif depolamaya geri yazılır. Araştırmacı, birleşik bir web panosu aracılığıyla ilerlemeyi izler ve nihayet sonuçları analiz için notebook'unda toplar.
Bu vaka, kimlik, hesaplama, depolama ve yazılım yönetiminin sorunsuz entegrasyonunu göstermektedir.

9. Gelecekteki Uygulamalar ve Geliştirme Yol Haritası

PUNCH4NFDI altyapısı, birkaç gelişmiş uygulama için zemin hazırlamaktadır:
1. Federatif Makine Öğrenimi Eğitimi: Potansiyel GPU kümeleri de dahil olmak üzere heterojen kaynak havuzu, PyTorch veya TensorFlow gibi dağıtılmış ML eğitim çerçevelerini kurumsal sınırlar ötesinde destekleyebilir; verilerin merkezileştirilemediği gizlilik koruyucu eğitim ihtiyaçlarını karşılayabilir.
2. Etkileşimli Analiz ve Görselleştirme: JupyterHub hizmetini, büyük veri seti keşfi için ölçeklenebilir, arka uç destekli etkileşimli görselleştirme araçlarıyla (örn. federasyon üzerindeki Dask kümelerine bağlı Jupyter widget'ları) geliştirmek.
3. Harici Bulutlar ve HPC Merkezleri ile Entegrasyon: Federasyon modelini, ortak bir faturalandırma/muhasebe katmanı aracılığıyla ticari bulut kredilerini (örn. AWS, GCP) veya ulusal süper bilgisayar merkezlerini (örn. JSC'deki JUWELS) dahil edecek şekilde genişleterek, bilim için gerçek bir hibrit bulut oluşturmak.
4. Meta Veri ve Veri Gölü Entegrasyonu: Basit dosya federasyonunun ötesine geçerek, depolama katmanının birleşik bir meta veri kataloğu (örn. Rucio veya iRODS tabanlı) ile birleştirildiği entegre bir veri gölü mimarisine geçmek; topluluklar arasında veri keşfi ve köken izleme olanağı sağlamak.
5. İş Akışı Olarak Hizmet: Federatif altyapının üzerinde REANA (Yeniden Üretilebilir Analiz Platformu) veya Apache Airflow gibi üst düzey platform hizmetleri sunmak; bilim insanlarının altta yatan altyapıyı yönetmeden karmaşık, yeniden üretilebilir analiz boru hatlarını tanımlamasına ve yürütmesine olanak tanımak.

Geliştirme yol haritası muhtemelen üretim hizmetini sağlamlaştırmaya, kaynak havuzunu genişletmeye, daha sofistike veri yönetim araçlarını entegre etmeye ve uzman olmayan kullanıcılar için benimseme engelini düşürmek amacıyla kullanıcı dostu API'ler ve SDK'lar geliştirmeye odaklanacaktır.

10. Referanslar

1. PUNCH4NFDI Konsorsiyumu. (2024). PUNCH4NFDI Beyaz Kitap. [İç Konsorsiyum Belgesi].
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Uygulamada dağıtık hesaplama: Condor deneyimi. Concurrency - Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
3. Blomer, J., vd. (2011). Parrot ile CernVM dosya sisteminde yazılım dağıtımı. Journal of Physics: Conference Series, 331(4), 042009. https://doi.org/10.1088/1742-6596/331/4/042009
4. Giffels, M., vd. (2022). COBalD ve TARDIS – Fırsatçı hesaplama için dinamik kaynak üst katmanı. EPJ Web of Conferences, 251, 02009. https://doi.org/10.1051/epjconf/202225102009
5. dCache İşbirliği. (2023). dCache: Dağıtık depolama veri önbellekleme sistemi. Erişim adresi: https://www.dcache.org/
6. XRootD İşbirliği. (2023). XRootD: Verilere yüksek performanslı, ölçeklenebilir hata toleranslı erişim. Erişim adresi: http://xrootd.org/
7. Wilkinson, M. D., vd. (2016). Bilimsel veri yönetimi ve yönetişimi için FAIR Yönlendirici İlkeleri. Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18
8. Verma, A., vd. (2015). Google'da Borg ile büyük ölçekli küme yönetimi. Proceedings of the Tenth European Conference on Computer Systems (EuroSys '15). https://doi.org/10.1145/2741948.2741964