Федеративная гетерогенная инфраструктура вычислений и хранения данных для PUNCH4NFDI

1. Введение

PUNCH4NFDI (Частицы, Вселенная, Ядра и Адроны для Национальной исследовательской инфраструктуры данных) – это крупный немецкий консорциум, финансируемый DFG (Немецким научно-исследовательским сообществом). Он объединяет около 9000 ученых из сообществ физики частиц, астрофизики, астрочастиц, адронной и ядерной физики. Основная цель консорциума – создание федеративной платформы научных данных, соответствующей принципам FAIR (Находимость, Доступность, Совместимость, Повторное использование). Данная работа подробно описывает архитектурные концепции – Compute4PUNCH и Storage4PUNCH, – разработанные для унификации доступа к высокогетерогенным вычислительным (HPC, HTC, облако) ресурсам и ресурсам хранения данных, предоставляемым натурой учреждениями-участниками по всей Германии.

2. Федеративная гетерогенная вычислительная инфраструктура – Compute4PUNCH

Инициатива Compute4PUNCH решает задачу обеспечения бесшовного доступа к разнородному пулу существующих вычислительных ресурсов без внесения существенных изменений в операционные модели поставщиков ресурсов.

3. Федеративная инфраструктура хранения данных – Storage4PUNCH

Storage4PUNCH направлена на федерацию систем хранения данных сообществ, в основном основанных на технологиях dCache и XRootD, которые хорошо зарекомендовали себя в физике высоких энергий (HEP).

4. Технические детали и математический аппарат

Основную логику планирования в COBalD/TARDIS можно смоделировать как задачу оптимизации. Пусть $R = \{r_1, r_2, ..., r_n\}$ – множество запросов на ресурсы из пула HTCondor, а $B = \{b_1, b_2, ..., b_m\}$ – множество доступных типов ресурсов бэкенда (например, узел HPC, облачная ВМ). Каждый запрос $r_i$ имеет требования (ядра, память, ПО). Каждый бэкенд $b_j$ имеет функцию стоимости $C_j(r_i)$ и время выделения $T_j(r_i)$.

Цель мета-планировщика – найти отображение $M: R \rightarrow B$, минимизирующее общую функцию стоимости, часто представляющую собой взвешенную сумму финансовых затрат и времени выполнения, с учетом ограничений, таких как квоты бэкендов и доступность ПО:

$$\min_{M} \sum_{r_i \in R} \left[ \alpha \cdot C_{M(r_i)}(r_i) + \beta \cdot T_{M(r_i)}(r_i) \right]$$

где $\alpha$ и $\beta$ – весовые коэффициенты. Это формализует задачу «динамичной и прозрачной» интеграции.

5. Результаты прототипа и производительность

В работе сообщается о первоначальном опыте работы научных приложений на доступных прототипах. Хотя конкретные количественные тесты в предоставленном отрывке не детализированы, успешное выполнение подразумевает:

• Функциональная интеграция: Стек HTCondor/COBalD/TARDIS успешно направлял задания на различные бэкенд-системы (HTC, HPC, облако).
• Доставка ПО: CVMFS и контейнеры надежно предоставляли необходимое программное окружение на разнородных рабочих узлах.
• Пользовательский доступ: JupyterHub и узлы входа служили эффективными точками входа для исследователей.

Концептуальная схема: Архитектуру системы можно визуализировать как трехслойную модель:

1. Слой пользовательского доступа: JupyterHub, узлы входа, AAI на токенах.
2. Слой федерации и планирования: Пул HTCondor + мета-планировщик COBalD/TARDIS.
3. Слой ресурсов: Гетерогенные бэкенды (кластеры HPC, фермы HTC, облачные ВМ) и федеративное хранилище (экземпляры dCache, XRootD).

6. Фреймворк анализа: пример сценария использования

Сценарий: Исследователю в области ядерной физики необходимо обработать 10 000 задач моделирования методом Монте-Карло, каждая из которых требует 4 ядра ЦП, 16 ГБ ОЗУ и определенный программный стек (Geant4, ROOT).

1. Отправка: Исследователь входит в PUNCH JupyterHub, пишет скрипт анализа и отправляет 10 000 заданий в локальный планировщик HTCondor.
2. Мета-планирование: COBalD/TARDIS отслеживает очередь HTCondor. Он оценивает доступные бэкенды: ферму HTC Университета A (низкая стоимость, большое время ожидания в очереди), кластер HPC Института B (умеренная стоимость, специализированное оборудование) и коммерческое облако (высокая стоимость, немедленная доступность).
3. Решение и выполнение: Используя свою модель стоимости, TARDIS может решить быстро запустить 2000 заданий в облаке, одновременно постепенно обрабатывая остальные на более дешевой ферме HTC. Для аутентификации на всех системах используется AAI на токенах.
4. ПО и данные: Каждое задание, независимо от бэкенда, загружает свое окружение Geant4/ROOT из CVMFS. Входные данные извлекаются из федеративного пространства имен Storage4PUNCH (например, через XRootD), а выходные данные записываются обратно в назначенную конечную точку хранения.
5. Завершение: Исследователь отслеживает и агрегирует результаты из единой очереди заданий HTCondor, не замечая выполнения на множественной инфраструктуре.

7. Критический анализ и экспертная оценка

Ключевое понимание: PUNCH4NFDI не строит очередное облако; он создает слой федерации, отличающийся замечательным политическим и техническим прагматизмом. Его истинная инновация заключается в мета-планировщике COBalD/TARDIS, который действует как «дипломатический переводчик» для совместного использования ресурсов, а не как завоеватель-объединитель. Это признает суверенитет существующих институциональных кластеров – неоспоримую реальность немецкой академической среды – и при этом создает функциональный над-ресурс.

Логическая последовательность: Логика безупречна: начать с пользователя (JupyterHub/узел входа), абстрагировать хаос через проверенный планировщик (HTCondor), затем использовать интеллектуального брокера (TARDIS) для сопоставления абстрактных запросов с конкретными, политически осуществимыми бэкендами. Опора на CVMFS и контейнеры для ПО – это блестящий ход, решающий проблему «ад зависимостей», которая преследует большинство федераций. Стратегия хранения данных мудро консервативна, она строится на проверенной паре dCache/XRootD из HEP, избегая трясины попыток навязать единую новую технологию.

Сильные стороны и недостатки:

• Сильные стороны: Минимальное вторжение – его суперсила. Он не требует от поставщиков менять свои локальные политики. Использование зрелых, разрабатываемых сообществом инструментов (HTCondor, CVMFS, dCache) резко снижает риски и повышает устойчивость по сравнению с проектами, построенными на собственных фреймворках. Фокус на принципах FAIR идеально соответствует современным требованиям финансирования.
• Недостатки и риски: Подход с мета-планировщиком вводит единую точку сложности и потенциального отказа. COBalD/TARDIS, хотя и перспективен, не так проверен в боях, как другие компоненты. «Оценка» технологий кэширования/метаданных (таких как Rucio) намекает на то, что самое сложное впереди: интеллектуальное управление данными. Без этого это федерация вычислений с присоединенным каталогом хранения, а не целостная платформа, ориентированная на данные. Также существует скрытый риск непредсказуемости производительности для пользователей, поскольку их задания перемещаются между принципиально разными архитектурами.

Практические рекомендации:

1. Для архитекторов PUNCH: Удвойте усилия по повышению надежности и наблюдаемости TARDIS. Его метрики и журналы решений – золото для оптимизации и построения доверия. В первую очередь интегрируйте слой управления данными (например, Rucio); вычисления без интеллектуальной работы с данными – это половина решения.
2. Для других консорциумов: Это план, достойный подражания, особенно философия «интеграция вместо замены». Однако оцените, есть ли в вашем сообществе эквивалент CVMFS – если нет, это ваш первый выбор: строить или покупать.
3. Для поставщиков ресурсов: Эта модель для вас низкорискованна. Вовлекайтесь в нее. AAI на основе токенов – это чистый способ предоставить доступ, не ставя под угрозу локальную безопасность. Это чистая выгода для видимости и утилизации ресурсов.

8. Будущие применения и план развития

Инфраструктура PUNCH4NFDI закладывает основу для нескольких перспективных приложений и направлений исследований:

• Междоменные рабочие процессы: Включение сложных многоэтапных конвейеров анализа, которые бесшовно перемещаются между моделированием (HPC), высокопроизводительной обработкой событий (HTC) и обучением моделей машинного обучения (облачные GPU).
• Планирование, ориентированное на данные: Более глубокая интеграция федерации хранения с планировщиком вычислений. Будущие версии COBald/TARDIS могли бы учитывать локальность данных (минимизация передач по глобальной сети) и предварительное размещение в своей функции стоимости, двигаясь к планированию с учетом данных.
• Интеграция с репозиториями FAIR-данных: Использование в качестве высокопроизводительной вычислительной основы для национальных репозиториев FAIR-данных, позволяя исследователям анализировать большие наборы данных непосредственно там, где они хранятся, следуя парадигме «вычисления к данным».
• ИИ/МО как услуга: Интерфейс JupyterHub и масштабируемый бэкенд могут быть расширены предварительно настроенными окружениями для специализированных фреймворков ИИ/МО (PyTorch, TensorFlow) и доступом к GPU-ресурсам, демократизируя ИИ для физических наук.
• Расширение на международные ресурсы: Модель федерации может быть расширена для включения ресурсов из европейских инициатив, таких как Европейское открытое научное облако (EOSC) или сайты вычислительной сети LHC (WLCG), создавая по-настоящему общеевропейскую исследовательскую инфраструктуру.

План развития, вероятно, включает укрепление текущего прототипа, масштабирование количества интегрированных ресурсов, внедрение оцениваемых решений для метаданных/кэширования и разработку более сложных механизмов политик и учета для справедливого распределения ресурсов внутри консорциума.

9. Ссылки

1. Консорциум PUNCH4NFDI. (2024). Белая книга PUNCH4NFDI. [Внутренний документ консорциума].
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and computation: practice and experience, 17(2-4), 323-356.
3. Blomer, J., et al. (2011). The CernVM file system. Journal of Physics: Conference Series, 331(5), 052004.
4. COBalD/TARDIS Documentation. (n.d.). Retrieved from https://tardis.readthedocs.io/
5. dCache Collaboration. (n.d.). dCache: A distributed storage system. https://www.dcache.org/
6. XRootD Collaboration. (n.d.). XRootD: High performance, scalable fault tolerant access to data. http://xrootd.org/
7. Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific data, 3(1), 1-9.
8. European Open Science Cloud (EOSC). (n.d.). https://eosc-portal.eu/
9. Worldwide LHC Computing Grid (WLCG). (n.d.). https://wlcg.web.cern.ch/