PUNCH4NFDI için Federatif Heterojen Hesaplama ve Depolama Altyapısı

1. Giriş

Ulusal Araştırma Veri Altyapısı için Parçacıklar, Evren, Çekirdekler ve Hadronlar (PUNCH4NFDI), Alman Araştırma Vakfı (DFG) tarafından finanse edilen büyük bir Alman konsorsiyumudur. Parçacık, astrofizik, astroparçacık, hadron ve nükleer fizik topluluklarından yaklaşık 9.000 bilim insanını temsil etmektedir. Konsorsiyumun temel amacı, federatif ve FAIR (Bulunabilir, Erişilebilir, Birlikte Çalışabilir, Yeniden Kullanılabilir) bir bilim veri platformu oluşturmaktır. Ele alınan temel zorluk, Almanya genelindeki üye kurumlar tarafından "ayni" olarak sağlanan son derece heterojen hesaplama (HPC, HTC, Bulut) ve depolama kaynaklarını federasyonlaştırarak araştırmacılar için sorunsuz, birleşik bir erişim sağlamaktır.

2. Federatif Heterojen Hesaplama Altyapısı – Compute4PUNCH

Compute4PUNCH kavramı, sağlayıcı sitelerdeki mevcut, çalışır durumdaki sistemlerde önemli değişiklikler gerektirmeden, çeşitli hesaplama kaynaklarına şeffaf erişim sağlamak üzere tasarlanmıştır.

3. Federatif Depolama Altyapısı – Storage4PUNCH

Storage4PUNCH, temel olarak Yüksek Enerji Fiziği'nde (HEP) standart olan dCache ve XRootD teknolojilerine dayanan topluluk depolama sistemlerini federasyonlaştırmaya odaklanır. Federasyon, birleşik bir ad alanı ve erişim protokolü sağlamayı amaçlar. Kavram, şu yollarla daha derin entegrasyonu değerlendirir:

• Depolama federasyon protokolleri (örn. XRootD'nin yönlendirici federasyonu veya dCache'in havuz yöneticisine dayalı).
• Gecikmeyi ve geniş alan ağı (WAN) trafiğini azaltmak için önbellekleme katmanları.
• Federasyon genelinde veri keşfedilebilirliğini iyileştirmek için meta veri işleme.

4. Teknik Detaylar ve Matematiksel Çerçeve

Temel zamanlama mantığı bir optimizasyon problemi olarak modellenebilir. $R = \{r_1, r_2, ..., r_n\}$, mimari, mevcut çekirdek sayısı $c_i$, bellek $m_i$ ve maliyet/öncelik faktörü $p_i$ gibi niteliklere sahip heterojen kaynaklar kümesi olsun. Bir iş $J$, $J_{req} = (c_{req}, m_{req}, arch_{req}, t_{req})$ gereksinimlerine sahiptir. Meta-zamanlayıcının amacı, genel faydayı veya verimi maksimize etmektir.

$J$ işini $r_i$ kaynağına yerleştirmek için basitleştirilmiş bir puanlama fonksiyonu şöyle olabilir: $$ S(J, r_i) = \begin{cases} 0 & \text{eğer } r_i \text{, } J_{req} \text{ ile uyuşmuyorsa} \\ \alpha \cdot \frac{c_i}{c_{req}} + \beta \cdot \frac{m_i}{m_{req}} - \gamma \cdot p_i & \text{aksi takdirde} \end{cases} $$ Burada $\alpha, \beta, \gamma$ ağırlık katsayılarıdır. COBalD/TARDIS sistemi, kaynak kullanılabilirliğine ve iş kuyruğu durumlarına uyum sağlayarak bu tür optimizasyonu dinamik olarak yaklaşık olarak gerçekleştirmek için sezgisel yöntemler ve gerçek zamanlı geri bildirim döngüleri uygular.

5. Prototip Sonuçları ve Performans

Grafik Açıklaması (Kavramsal): "Zaman İçinde Erişilebilen Toplam Hesaplama Kapasitesi"ni gösteren bir çizgi grafiği. X ekseni zaman (ay). İki çizgi gösterilir: 1) "Bireysel Kaynak Havuzları (Bağlantısız)" – bireysel sitelerin statik kapasitesini temsil eden düz, kademeli çizgiler. 2) "Compute4PUNCH ile Federatif Havuz" – daha fazla site entegre edildikçe artan ve federasyon genelinde yük dengelemesini gösteren daha küçük dalgalanmalar sergileyen daha yüksek, daha dinamik bir çizgi. Grafik, temel sonucu gösterir: federatif sistem, kullanıcılara izole parçalarının toplamından daha büyük, daha dayanıklı ve daha verimli kullanılan sanal bir kaynak havuzu sağlar.

İlk prototipler, tek bir giriş noktasından (JupyterHub) birden fazla arka uç HTCondor havuzuna ve HPC kümesine (örn. KIT, DESY) iş gönderimini başarıyla gösterdi. CVMFS aracılığıyla konteynerleştirilmiş ortamları kullanan işler, farklı mimariler üzerinde şeffaf bir şekilde yürütüldü. İlk metrikler, federasyon genelindeki az kullanılan kapasite döngülerinden yararlanarak kullanıcılar için iş bekleme süresinde bir azalma olduğunu gösterse de, siteler arası veri transfer gecikmesi veri yoğun iş yükleri için kritik bir faktör olmaya devam etmektedir.

6. Analiz Çerçevesi: Kavramsal Bir Vaka Çalışması

Senaryo: Bir nötrino teleskobundan (IceCube) ve bir gama ışını gözlemevinden (CTA) gelen verileri ilişkilendiren çoklu mesajcı astrofizik analizi.

Federasyon Olmadan İş Akışı: Araştırmacı şunları yapmalıdır: 1. Simülasyon için bir HPC kümesinde ve olay işleme için bir HTC çiftliğinde ayrı hesaplama tahsisleri için başvurmalıdır. 2. Farklı enstitülerdeki depolama sistemleri arasında büyük veri kümelerini (TB ölçeğinde) manuel olarak transfer etmelidir. 3. Farklı yazılım ortamlarını ve kimlik doğrulama yöntemlerini yönetmelidir.

Compute4PUNCH/Storage4PUNCH ile İş Akışı: 1. Araştırmacı, tek bir token ile PUNCH JupyterHub'a giriş yapar. 2. Analiz iş akışı tanımlanır (örn. Snakemake veya benzeri kullanılarak). Simülasyon görevleri (HPC'ye uygun) TARDIS aracılığıyla otomatik olarak uygun HPC kaynaklarına yönlendirilir. Yüksek verimli olay işleme görevleri HTC çiftliklerine gönderilir. 3. İş akışı, verilere federatif depolama ad alanı üzerinden referans verir (örn. `punch://data/icecube/run_xyz.root`). Altta yatan XRootD/dCache federasyonu konum ve transferi halleder. 4. Tüm işler tutarlı bir yazılım ortamını CVMFS'ten çeker. Bu vaka çalışması, dönüştürücü potansiyeli gösterir: araştırmacı altyapı lojistiğine değil, bilime odaklanır.

7. Gelecekteki Uygulamalar ve Geliştirme Yol Haritası

PUNCH4NFDI altyapısı, birkaç ileri düzey uygulama için temel oluşturmaktadır:

• Federatif Makine Öğrenimi Eğitimi: Büyük ölçekli model eğitimi için siteler arasındaki heterojen GPU'lardan yararlanma, potansiyel olarak HTCondor/TARDIS arka ucu için uyarlanmış federatif öğrenme algoritmaları ile PyTorch veya TensorFlow gibi çerçeveler kullanarak.
• Dinamik, Politika Odaklı İş Yükü Yerleştirme: İşlerin, yüksek yenilenebilir enerji kullanılabilirliğine sahip sitelere yönlendirildiği, Green Algorithms girişiminin araştırdığı kavramlara benzer şekilde karbon farkındalıklı zamanlamanın entegre edilmesi.
• Konsorsiyumlar Arası Federasyon: Diğer NFDI konsorsiyumlarına veya Avrupa Açık Bilim Bulutu (EOSC) gibi Avrupa girişimlerine bağlanmak için bir şablon olarak hizmet etme, böylece pan-Avrupa bir araştırma altyapısı oluşturma.
• Akıllı Veri Önbellekleme ve Önceden Getirme: İş akışı provenansı ve tahmine dayalı analitik kullanarak veri kümelerini hesaplama sitelerinde proaktif olarak önbellekleme, WAN gecikmesini azaltma; bu, IRIS-HEP gibi projelerin de merkezinde olan bir zorluktur.

8. Analist Perspektifi: Temel İçgörü, Mantıksal Akış, Güçlü ve Zayıf Yönler, Uygulanabilir Öneriler

Temel İçgörü: PUNCH4NFDI yeni bir süper bilgisayar inşa etmiyor; Almanya'nın parçalanmış, bölünmüş araştırma hesaplama manzarasını uyumlu, kullanıcı odaklı bir hizmete dönüştüren bir sanalizasyon ve orkestrasyon katmanı inşa ediyor. Bu, devrimci değişim yerine benimseme ve artımlılığı önceliklendiren klasik bir "yerine koyma yerine federasyon" stratejisidir—kamu tarafından finanse edilen kurumların politik ve operasyonel gerçekleri göz önüne alındığında pragmatik olarak parlak bir hamledir.

Mantıksal Akış: Mantık sağlamdır: 1) Heterojenliği ve sahipliği kabul et (kaynaklar enstitülerde kalır). 2) Asgari yeni gereksinimler getir (token, konteyner kullan). 3) Karmaşıklığı soyutlamak için akıllı, uyarlanabilir bir ara katman (COBalD/TARDIS) ekle. 4) Basit, modern kullanıcı arayüzleri (JupyterHub) sağla. 5) Döngüyü tamamlamak için veriyi benzer şekilde federasyonlaştır. Bu, diğer konsorsiyumların incelemesi gereken bir aşağıdan yukarı entegrasyon oyun kitabıdır.

Güçlü ve Zayıf Yönler: Güçlü Yönler: HEP topluluğundan savaşta test edilmiş bileşenlerin (HTCondor, dCache, CVMFS) kullanılması teknik riski büyük ölçüde azaltır. AAI ve konteynerlere odaklanma, benimsemenin en büyük iki engelini ele alır: erişim ve yazılım. COBalD/TARDIS seçimi ilham vericidir—tam da bu hibrit bulut, fırsatçı senaryo için tasarlanmış hafif, Python tabanlı bir zamanlayıcıdır. Kritik Zayıflıklar: Odadaki fil veri hareketliliğidir. Hesaplamayı federasyonlaştırmak, depolamayı federasyonlaştırmaktan daha kolaydır. Makale önbellekleme ve meta veri değerlendirmesinden bahsediyor, ancak tutarlı küresel ad alanı performansı, WAN veri transfer maliyetleri ve siteler arası veri politikası uygulaması gibi zor problemlere sadece işaret ediliyor. Burada sağlam bir çözüm olmadan, federatif hesaplama havuzu veri yoğun iş yükleri için engellenecektir. Ayrıca, başarı tamamen üyelerin sürekli "ayni" katkılarına bağlıdır—potansiyel olarak kırılgan bir ekonomik model.

Uygulanabilir Öneriler: 1. PUNCH4NFDI için: Veri katmanına çift katılım yapın. Veri yönetimi için Rucio ve operasyonel deneyim için Open Science Grid gibi projelerle agresif bir şekilde ortaklık kurun. Özellikle veri çıkış maliyetleri konusunda kaynak sağlayıcılarla net SLA'lar geliştirin. 2. Rakip/Taklitçiler için: Sadece mimariyi kopyalamayın. Gerçek ders, yönetişim ve hafif entegrasyon modelindedir. Birkaç istekli sitede çalışan bir prototiple başlayın ve organik olarak büyüyün. 3. Tedarikçiler ve Fon Sağlayıcı Kurumlar için: Bu model, gelecekteki araştırma hesaplama yatırımlarının, ham donanım kadar, hatta daha fazla, entegrasyon ara yazılımına ve yazılım sürdürülebilirliğine (COBalD gibi) fon sağlaması gerektiğini göstermektedir. "Tutkalı" fonlayın.

Sonuç olarak, PUNCH4NFDI'nin yaklaşımı, pragmatik siber altyapı mühendisliğinde bir ustalık dersidir. Bilimsel hesaplamadaki en büyük darboğazın genellikle FLOPS değil, kullanılabilirlik ve erişim olduğunu kabul eder. Federatif veri sorununu çözebilirlerse, sadece Alman değil, Avrupa araştırma hesaplamasını yeniden şekillendirme potansiyeli olan gerçek bir model yaratmış olacaklar.

9. Referanslar

1. PUNCH4NFDI Konsorsiyumu. (2024). PUNCH4NFDI Beyaz Kitap. NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Dağıtık hesaplama pratikte: Condor deneyimi. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356.
3. Giffels, M., vd. (2023). COBalD/TARDIS - Fırsatçı hesaplama için dinamik bir kaynak overlay'ı. Journal of Physics: Conference Series.
4. Blomer, J., vd. (2011). CernVM Dosya Sistemi. Journal of Physics: Conference Series, 331(5), 052004.
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Eşleştirilmemiş Görüntüden Görüntüye Çeviri için Döngü-Tutarlı Çekişmeli Ağlar Kullanımı. IEEE Uluslararası Bilgisayarlı Görü Konferansı (ICCV) Bildirileri. (Bu tür federatif altyapıdan yararlanabilecek dönüştürücü bir hesaplama metodolojisi örneği olarak alıntılanmıştır).
6. dCache İşbirliği. (2023). dCache: Dağıtık bir depolama sistemi. https://www.dcache.org.
7. XRootD İşbirliği. (2023). XRootD: Veriye yüksek performanslı, ölçeklenebilir hata toleranslı erişim. https://xrootd.slac.stanford.edu.
8. Avrupa Açık Bilim Bulutu (EOSC). (2024). https://eosc-portal.eu.