PUNCH4NFDI 聯邦式異質計算與儲存基礎架構

1. 簡介

「國家研究資料基礎設施之粒子、宇宙、原子核與強子研究聯盟」（PUNCH4NFDI）是由德國研究基金會（DFG）資助的一個重要德國聯盟。它代表了來自粒子物理、天體物理、天體粒子物理、強子物理與核物理領域約 9,000 名科學家。該聯盟的主要目標是建立一個聯邦式且符合 FAIR（可發現、可存取、可互通、可重用）原則的科學資料平台。其解決的核心挑戰在於整合由德國各地成員機構「實物」貢獻的高度異質性計算（高效能運算、高吞吐量運算、雲端）與儲存資源，為研究人員提供無縫、統一的存取管道。

2. 聯邦式異質計算基礎架構 – Compute4PUNCH

Compute4PUNCH 概念的設計目標是提供對多樣化計算資源池的透明存取，同時不對提供者站點現有運作中的系統施加重大變更。

3. 聯邦式儲存基礎架構 – Storage4PUNCH

Storage4PUNCH 專注於整合社群儲存系統，主要基於高能物理領域的標準技術：dCache 與 XRootD。此聯邦架構旨在提供統一的命名空間與存取協定。該概念透過以下方式評估更深層的整合：

• 儲存聯邦協定（例如基於 XRootD 的重新導向器聯邦或 dCache 的池管理器）。
• 快取層，以降低延遲與廣域網路流量。
• 元資料處理，以提升跨聯邦架構的資料可發現性。

4. 技術細節與數學框架

核心排程邏輯可被建模為一個最佳化問題。令 $R = \{r_1, r_2, ..., r_n\}$ 為異質資源的集合，每個資源具有如架構、可用核心數 $c_i$、記憶體 $m_i$ 及成本/優先權因子 $p_i$ 等屬性。一個工作 $J$ 具有需求 $J_{req} = (c_{req}, m_{req}, arch_{req}, t_{req})$。元排程器的目標是最大化整體效用或吞吐量。

將工作 $J$ 放置於資源 $r_i$ 上的一個簡化評分函數可表示為： $$ S(J, r_i) = \begin{cases} 0 & \text{if } r_i \text{ does not match } J_{req} \\ \alpha \cdot \frac{c_i}{c_{req}} + \beta \cdot \frac{m_i}{m_{req}} - \gamma \cdot p_i & \text{otherwise} \end{cases} $$ 其中 $\alpha, \beta, \gamma$ 為權重係數。COBalD/TARDIS 系統實作了啟發式方法與即時回饋迴路，以動態地近似此類最佳化，並根據資源可用性與工作佇列狀態進行調整。

5. 原型結果與效能表現

圖表說明（概念性）： 一張折線圖顯示「隨時間可存取的聚合計算容量」。X 軸為時間（月）。圖中顯示兩條線：1)「個別資源池（未連線）」——平坦、交錯的線條，代表個別站點的靜態容量。2)「透過 Compute4PUNCH 的聯邦式資源池」——一條更高、更動態的線條，隨著更多站點整合而增加，並顯示較小的波動，展示了跨聯邦架構的負載平衡。該圖說明了關鍵結果：與其孤立部分的總和相比，聯邦式系統為使用者提供了一個更大、更具韌性且更有效利用的虛擬資源池。

初始原型已成功展示從單一入口點（JupyterHub）提交工作至多個後端 HTCondor 資源池與高效能運算叢集（例如位於 KIT、DESY 的叢集）。透過 CVMFS 使用容器化環境的工作，能在不同架構上透明地執行。早期指標顯示，透過利用聯邦架構中未充分利用的運算週期，減少了使用者的工作等待時間，然而站點間的資料傳輸延遲對於資料密集型工作負載而言，仍是一個關鍵因素。

6. 分析框架：概念性案例研究

情境： 一項多信使天文物理分析，需關聯來自微中子望遠鏡（IceCube）與伽瑪射線天文台（CTA）的資料。

無聯邦架構的工作流程： 研究人員必須： 1. 分別申請高效能運算叢集（用於模擬）與高吞吐量運算農場（用於事件處理）的計算配額。 2. 手動在不同機構的儲存系統間傳輸大型資料集（TB 級）。 3. 管理不同的軟體環境與認證方法。

使用 Compute4PUNCH/Storage4PUNCH 的工作流程： 1. 研究人員使用單一權杖登入 PUNCH JupyterHub。 2. 定義分析工作流程（例如使用 Snakemake 或類似工具）。模擬任務（適合高效能運算）透過 TARDIS 自動路由至適當的高效能運算資源。高吞吐量事件處理任務則被送至高吞吐量運算農場。 3. 工作流程透過聯邦式儲存命名空間（例如 `punch://data/icecube/run_xyz.root`）參照資料。底層的 XRootD/dCache 聯邦架構負責處理資料位置與傳輸。 4. 所有工作皆從 CVMFS 拉取一致的軟體環境。此案例研究展示了變革性的潛力：研究人員得以專注於科學本身，而非基礎架構的後勤事務。

7. 未來應用與發展藍圖

PUNCH4NFDI 基礎架構為數個進階應用奠定了基礎：

• 聯邦式機器學習訓練： 利用跨站點的異質 GPU 進行大規模模型訓練，可能使用 PyTorch 或 TensorFlow 等框架，並搭配適用於 HTCondor/TARDIS 後端的聯邦式學習演算法。
• 動態、政策驅動的工作負載放置： 整合碳感知排程，將工作路由至可再生能源可用性高的站點，類似於綠色演算法倡議所探討的概念。
• 跨聯盟聯邦： 作為與其他 NFDI 聯盟或歐洲倡議（如歐洲開放科學雲）連接的藍圖，創造一個泛歐洲的研究基礎架構。
• 智慧資料快取與預取： 利用工作流程溯源與預測分析，在計算站點主動快取資料集，以緩解廣域網路延遲，這也是如IRIS-HEP等專案的核心挑戰。

8. 分析師觀點：核心洞見、邏輯流程、優勢與缺陷、可行建議

核心洞見： PUNCH4NFDI 並非在建造一台新的超級電腦；它是在建造一個虛擬化與協調層，將德國零散、各自為政的研究計算環境轉變為一個凝聚的、以使用者為中心的公用設施。這是一個典型的「聯邦優先於取代」策略，優先考慮採用與漸進主義，而非革命性變革——考慮到公立機構的政治與運作現實，這是一個務實且高明的舉措。

邏輯流程： 其邏輯是合理的：1) 承認異質性與所有權（資源仍歸機構所有）。2) 施加最少的新要求（使用權杖、容器）。3) 插入一個智慧、自適應的中介軟體層（COBalD/TARDIS）以抽象化複雜性。4) 提供簡單、現代的用戶介面（JupyterHub）。5) 以類似方式聯邦化資料以完成迴路。這是一份其他聯盟應研究的自下而上整合範本。

優勢與缺陷： 優勢： 採用來自高能物理社群久經考驗的元件（HTCondor、dCache、CVMFS），大幅降低了技術風險。聚焦於認證與授權基礎設施及容器，解決了兩個最大的採用障礙：存取與軟體。選擇 COBalD/TARDIS 是明智之舉——它是一個輕量級、基於 Python 的排程器，專為此類混合雲、機會主義情境而設計。 關鍵缺陷： 房間裡的大象是資料移動性。聯邦化計算比聯邦化儲存更容易。本文提及了快取與元資料評估，但對於一致的全球命名空間效能、廣域網路資料傳輸成本以及跨站點資料政策執行等難題，僅是點到為止。若無穩健的解決方案，聯邦式計算資源池將在處理資料密集型工作負載時受到掣肘。此外，其成功完全依賴於成員持續的「實物」貢獻——這是一個潛在脆弱的經濟模型。

可行建議： 1. 對 PUNCH4NFDI： 加倍投入資料層。積極與如Rucio（用於資料管理）及開放科學網格（用於營運經驗）等專案合作。與資源提供者制定明確的服務水準協議，特別是關於資料輸出成本的部分。 2. 對競爭者/模仿者： 不要只複製架構。真正的教訓在於治理與輕量級整合模式。從幾個願意合作的站點建立一個可運作的原型開始，並有機地成長。 3. 對供應商與資助機構： 此模型顯示，未來的研究計算投資應資助整合中介軟體與軟體永續性（如 COBalD），其重要性不亞於，甚至超過原始硬體。資助這些「黏合劑」。

總而言之，PUNCH4NFDI 的方法是一堂務實網路基礎架構工程的典範課程。它認識到科學計算的最大瓶頸往往不是浮點運算能力，而是可用性與存取性。如果他們能解決聯邦式資料的難題，將創造出一個真正有潛力重塑不僅是德國，更是整個歐洲研究計算的模型。

9. 參考文獻

1. PUNCH4NFDI Consortium. (2024). PUNCH4NFDI White Paper. NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356.
3. Giffels, M., et al. (2023). COBalD/TARDIS - A dynamic resource overlay for opportunistic computing. Journal of Physics: Conference Series.
4. Blomer, J., et al. (2011). The CernVM File System. Journal of Physics: Conference Series, 331(5), 052004.
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Cited as an example of a transformative computational methodology that could leverage such federated infrastructure).
6. dCache Collaboration. (2023). dCache: A distributed storage system. https://www.dcache.org.
7. XRootD Collaboration. (2023). XRootD: High performance, scalable fault tolerant access to data. https://xrootd.slac.stanford.edu.
8. European Open Science Cloud (EOSC). (2024). https://eosc-portal.eu.