Compute4PUNCH & Storage4PUNCH: Федеративная инфраструктура для PUNCH4NFDI

1. Введение и обзор

Консорциум PUNCH4NFDI (Particles, Universe, NuClei and Hadrons for the National Research Data Infrastructure), финансируемый Немецким научно-исследовательским сообществом (DFG), объединяет около 9000 ученых из сообществ физики частиц, астрофизики, астрочастиц, адронной и ядерной физики Германии. Его основная миссия — создание федеративной научной платформы данных, соответствующей принципам FAIR (Findable, Accessible, Interoperable, Reusable — находимые, доступные, совместимые, повторно используемые). Ключевая задача — обеспечить бесшовную интеграцию и единый доступ к обширному и разнородному ландшафту вычислительных (HPC, HTC, облачные) и хранилищных ресурсов, предоставляемых натурой институтами-участниками по всей Германии. В данном документе подробно описаны концепции Compute4PUNCH и Storage4PUNCH, разработанные для преодоления этих проблем интеграции.

2. Федеративная гетерогенная вычислительная инфраструктура (Compute4PUNCH)

Compute4PUNCH нацелен на создание общенациональной федеративной накладной пакетной системы, обеспечивающей прозрачный доступ к разнообразным вычислительным ресурсам без внесения существенных изменений в существующие, действующие системы, используемые несколькими сообществами.

2.1 Базовая архитектура и компоненты

Архитектура построена вокруг федеративной пакетной системы HTCondor. Мета-планировщик ресурсов COBalD/TARDIS динамически интегрирует гетерогенные ресурсы (кластеры HPC, фермы HTC, облачные инстансы) в этот единый пул. Точками входа для пользователей являются традиционные логин-узлы и сервис JupyterHub, предлагающие гибкие интерфейсы ко всему ландшафту ресурсов.

2.2 Доступ и аутентификация (AAI)

Инфраструктура аутентификации и авторизации (AAI) на основе токенов обеспечивает стандартизированный, безопасный доступ ко всем федеративным ресурсам, упрощая взаимодействие с пользователем и повышая безопасность.

2.3 Предоставление программного окружения

Для управления разнообразными программными потребностями инфраструктура использует технологии контейнеризации (например, Docker, Singularity/Apptainer) и CERN Virtual Machine File System (CVMFS). CVMFS позволяет осуществлять масштабируемую, распределенную доставку специализированных программных стеков сообществ и данных экспериментов, обеспечивая согласованность и снижая нагрузку на локальные хранилища вычислительных узлов.

3. Федеративная инфраструктура хранения данных (Storage4PUNCH)

Storage4PUNCH фокусируется на федерации систем хранения данных, предоставляемых сообществами, в основном на базе технологий dCache и XRootD, хорошо зарекомендовавших себя в физике высоких энергий (HEP).

3.1 Технология федерации хранилищ

Федерация создает единое пространство имен, позволяя пользователям получать доступ к данным в нескольких институциональных системах хранения, как если бы это был единый ресурс. В основе лежат протоколы и концепции, проверенные в крупных коллаборациях, таких как Worldwide LHC Computing Grid (WLCG).

3.2 Стратегии кэширования и работы с метаданными

В рамках проекта оцениваются существующие технологии для интеллектуального кэширования данных и обработки метаданных. Цель — более глубокая интеграция для оптимизации размещения данных, снижения задержек и улучшения обнаружения данных на основе принципов FAIR.

4. Техническая реализация и детали

4.1 Математическая модель планирования ресурсов

Планировщик COBalD/TARDIS можно концептуально представить как решающий задачу оптимизации. Пусть $R = \{r_1, r_2, ..., r_n\}$ — множество гетерогенных ресурсов, каждый из которых обладает атрибутами, такими как архитектура, доступные ядра, память и стоимость. Пусть $J = \{j_1, j_2, ..., j_m\}$ — множество задач с требованиями. Планировщик стремится максимизировать функцию полезности $U$ (например, общую пропускную способность, справедливость) при соблюдении ограничений:

$$\text{Максимизировать } U(\text{Распределение}(R, J))$$

$$\text{при условиях: } \forall r_i \in R, \text{Использование}(r_i) \leq \text{Емкость}(r_i)$$

$$\text{и } \forall j_k \in J, \text{Требования}(j_k) \subseteq \text{Атрибуты}(\text{НазначенныйРесурс}(j_k))$$

Такой динамический, управляемый политиками подход является более гибким по сравнению с традиционными статическими системами очередей.

4.2 Результаты прототипирования и производительность

Первоначальные прототипы успешно продемонстрировали федерацию ресурсов таких институтов, как KIT, DESY и Университет Билефельда. Наблюдаемые ключевые метрики производительности включают:

Задержка отправки задачи: Накладная система добавляет минимальные накладные расходы; отправка задачи в центральный пул HTCondor обычно занимает менее 2 секунд.
Использование ресурсов: Динамическое объединение в пул, обеспечиваемое TARDIS, показало потенциальное увеличение общего использования ресурсов за счет заполнения «пробелов» в расписаниях отдельных кластеров.
Доступ к данным через CVMFS: Время запуска программного обеспечения из CVMFS после первоначального кэширования было сопоставимо с локальными установками, что подтверждает его пригодность для масштабируемого распространения ПО.
Пользовательский опыт: Первоначальные отзывы указывают на то, что интерфейс JupyterHub и AAI на основе токенов значительно снижают порог входа для пользователей, не знакомых с командными пакетными системами.

Примечание: Всесторонние количественные тесты, сравнивающие федеративную и изолированную работу, являются частью текущей работы.

5. Аналитическая структура и пример использования

Пример использования: Анализ в многоканальной астрофизике

Рассмотрим астрофизика, анализирующего событие гамма-всплеска. Рабочий процесс включает:

Обнаружение данных: Использование федеративного пространства имен хранилища для поиска соответствующих наборов данных из архивов гамма-излучения (Fermi-LAT), оптических (LSST) и гравитационных волн (LIGO/Virgo), доступных через единый путь (например, /punche/data/events/GRB221009A).
Отправка рабочего процесса: Исследователь использует портал JupyterHub для составления многоэтапного аналитического скрипта. Скрипт определяет потребности как в обработке изображений с ускорением на GPU (для оптических данных), так и в задачах на CPU с большим объемом памяти (для спектрального анализа).
Динамическое выполнение: Федерация Compute4PUNCH через COBalD/TARDIS автоматически направляет задачу для GPU в университетский кластер с доступными узлами V100/A100, а задачу с большим объемом памяти — в центр HPC с узлами с большой памятью, без вмешательства пользователя.
Программное окружение: Все задачи загружают согласованное контейнеризованное окружение со специфическими астрономическими инструментами (например, Astropy, Gammapy) из CVMFS.
Агрегация результатов: Промежуточные результаты записываются обратно в федеративное хранилище, а итоговые графики генерируются, все в рамках одной аутентифицированной сессии.

Этот пример демонстрирует, как федерация абстрагирует инфраструктурную сложность, позволяя ученому сосредоточиться на научной проблеме.

6. Критический анализ и отраслевая перспектива

Ключевое понимание: PUNCH4NFDI не строит очередное монолитное облако; он создает слой федерации — «мета-операционную систему» для национально распределенной, суверенной исследовательской инфраструктуры. Это прагматичный и мощный ответ на фрагментированный ландшафт европейской электронной науки, отдающий приоритет интеграции, а не замене. Это отражает архитектурную философию, лежащую в основе успешных крупномасштабных систем, таких как Kubernetes для оркестрации контейнеров, но примененную на уровне целых дата-центров.

Логическая последовательность: Логика безупречна: 1) Признать гетерогенность и существующие инвестиции как неизменные ограничения. 2) Ввести минимальный, ненавязчивый слой абстракции (HTCondor + TARDIS) для вычислений и федерацию пространства имен для хранения. 3) Использовать проверенные в боях, разрабатываемые сообществом промежуточные решения (CVMFS, dCache, XRootD) в качестве строительных блоков для обеспечения стабильности и использования существующего опыта. 4) Предоставить современные, ориентированные на пользователя точки входа (JupyterHub, токен AAI). Эта последовательность минимизирует политическое и техническое трение для поставщиков ресурсов, что крайне важно для внедрения.

Сильные стороны и недостатки: Величайшая сила проекта — прагматичное повторное использование зрелых технологий сообщества HEP, что снижает риски разработки. Фокус на ненавязчивой накладной системе политически дальновиден. Однако подход несет в себе неизбежный технический долг. Сложность отладки проблем производительности или сбоев в нескольких независимых административных доменах, с разными сетевыми политиками и многоуровневыми планировщиками (локальный + федеративный) будет огромной — проблема, хорошо задокументированная в литературе по грид-вычислениям. Опора на HTCondor, хотя и надежную, может быть не оптимальной для всех паттернов рабочих нагрузок HPC, потенциально оставляя неиспользованной производительность для тесно связанных MPI-задач. Кроме того, хотя в документе упоминаются принципы FAIR, конкретная реализация богатых, междисциплинарных каталогов метаданных — монументальная задача — по-видимому, отложена для будущей оценки.

Практические выводы: Для других консорциумов ключевой вывод — стратегия «сначала накладная система». Прежде чем пытаться строить или навязывать общее оборудование, инвестируйте в программную «склейку». Стек PUNCH4NFDI (HTCondor/TARDIS + CVMFS + Федеративное хранилище) представляет собой убедительный набор инструментов с открытым исходным кодом для национальных инициатив в области исследовательских облаков. Однако им необходимо активно инвестировать в инструменты наблюдаемости для кросс-доменных систем — что-то вроде OpenTelemetry для распределенных научных вычислений — чтобы управлять создаваемой сложностью. Им также следует изучить гибридные модели планирования, возможно, интегрируя элементы работы по федерации SLURM, ориентированной на HPC, или облачно-нативных планировщиков для более широкой применимости за пределами HTC. Успех этой федерации будет измеряться не пиковыми флопсами, а сокращением «времени до получения результата» для ее 9000 ученых.

7. Будущие приложения и план развития

Инфраструктура PUNCH4NFDI закладывает основу для нескольких перспективных приложений:

Масштабное обучение ИИ/МО: Федеративный пул ресурсов может динамически предоставлять кластеры GPU-узлов для обучения больших моделей на распределенных научных наборах данных, следуя парадигмам, аналогичным исследуемым в тестах MLPerf HPC.
Интерактивный и анализ в реальном времени: Расширенная поддержка интерактивных сессий и сервисов, подключающихся к потокам данных в реальном времени от телескопов или детекторов частиц, что позволяет проводить «живой» анализ наблюдательных данных.
Федеративное обучение для конфиденциальных данных: Инфраструктура может быть адаптирована для поддержки рабочих процессов федеративного обучения с сохранением конфиденциальности, где модели ИИ обучаются в нескольких институтах без обмена исходными данными — техника, набирающая популярность в медицинской визуализации и других областях.
Интеграция с Европейским облаком открытой науки (EOSC): Выступая в качестве мощного национального узла, федерация PUNCH4NFDI может обеспечить бесшовный доступ к сервисам и ресурсам EOSC, и наоборот, усиливая свое влияние.
Квантово-гибридные рабочие процессы: По мере появления тестовых стендов квантовых вычислений федерация могла бы планировать классические задачи пред-/пост-обработки вместе с задачами для квантовых сопроцессоров, управляя всем гибридным рабочим процессом.

План развития, вероятно, будет сосредоточен на укреплении производственного сервиса, расширении пула ресурсов, внедрении продвинутых политик управления данными и углублении интеграции между вычислительным и хранилищным уровнями.

8. Ссылки

Консорциум PUNCH4NFDI. (2024). Белая книга PUNCH4NFDI. [Внутренний документ консорциума].
Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. https://doi.org/10.1002/cpe.938
Blomer, J., et al. (2011). The CernVM File System. Journal of Physics: Conference Series, 331(5), 052004. https://doi.org/10.1088/1742-6596/331/5/052004
Fuhrmann, P., & Gulzow, V. (2006). dCache, the system for the storage of large amounts of data. 22nd IEEE Conference on Mass Storage Systems and Technologies (MSST'05). https://doi.org/10.1109/MSST.2005.47
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (Цитируется как пример сложного, ресурсоемкого алгоритма, стимулирующего спрос на вычисления).
MLCommons Association. (2023). MLPerf HPC Benchmark. https://mlcommons.org/benchmarks/hpc/ (Цитируется как ссылка на рабочие нагрузки ИИ/МО в системах HPC).
European Commission. (2024). European Open Science Cloud (EOSC). https://eosc-portal.eu/