بنية الحوسبة والتخزين الموزعة غير المتجانسة لـ PUNCH4NFDI

1. المقدمة

تُمثل "الجسيمات، الكون، النوى والهادرونات للبنية التحتية الوطنية لبيانات البحث" (PUNCH4NFDI) تحالفاً ألمانياً رئيسياً يموله "مؤسسة الأبحاث الألمانية" (DFG). ويضم التحالف ما يقارب 9000 عالم من مجالات فيزياء الجسيمات، والفيزياء الفلكية، وفيزياء الجسيمات الفلكية، وفيزياء الهادرونات، والفيزياء النووية. الهدف الرئيسي للتحالف هو إنشاء منصة موحدة لبيانات العلوم وفق مبادئ FAIR (القابلية للاكتشاف، والوصول، والتشغيل البيني، وإعادة الاستخدام). أحد التحديات المركزية التي يتم معالجتها هو توحيد موارد الحوسبة (HPC، HTC، السحابة) والتخزين شديدة التنوع التي تقدمها المؤسسات الأعضاء عبر ألمانيا "عينيًا"، مما يتيح وصولاً سلساً وموحداً للباحثين.

2. بنية الحوسبة الموزعة غير المتجانسة – Compute4PUNCH

صُمم مفهوم Compute4PUNCH لتوفير وصول شفاف لمجموعة متنوعة من موارد الحوسبة دون فرض تغييرات جوهرية على الأنظمة التشغيلية القائمة في مواقع المزودين.

3. بنية التخزين الموزعة – Storage4PUNCH

يركز Storage4PUNCH على توحيد أنظمة تخزين المجتمع، المعتمدة بشكل أساسي على تقنيتي dCache و XRootD، واللتان تُعدان معيارين في فيزياء الطاقة العالية (HEP). يهدف التوحيد إلى توفير مساحة اسمية موحدة وبروتوكول وصول. يُقيّم المفهوم التكامل الأعمق من خلال:

• بروتوكولات توحيد التخزين (مثل تلك القائمة على اتحاد مُعيد التوجيه في XRootD أو مدير المجمع في dCache).
• طبقات التخزين المؤقت لتقليل زمن الوصول وحركة مرور الشبكة الواسعة (WAN).
• معالجة البيانات الوصفية لتحسين قابلية اكتشاف البيانات عبر النظام الموحد.

4. التفاصيل التقنية والإطار الرياضي

يمكن نمذجة منطق الجدولة الأساسي كمشكلة تحسين. لنفترض أن $R = \{r_1, r_2, ..., r_n\}$ هي مجموعة الموارد غير المتجانسة، ولكل منها سمات مثل البنية، والنوى المتاحة $c_i$، والذاكرة $m_i$، وعامل التكلفة/الأولوية $p_i$. للوظيفة $J$ متطلبات $J_{req} = (c_{req}, m_{req}, arch_{req}, t_{req})$. هدف المجدول الفائق هو تعظيم المنفعة الكلية أو الإنتاجية.

يمكن أن تكون دالة التقييم المبسطة لوضع الوظيفة $J$ على المورد $r_i$ كالتالي: $$ S(J, r_i) = \begin{cases} 0 & \text{if } r_i \text{ does not match } J_{req} \\ \alpha \cdot \frac{c_i}{c_{req}} + \beta \cdot \frac{m_i}{m_{req}} - \gamma \cdot p_i & \text{otherwise} \end{cases} $$ حيث $\alpha, \beta, \gamma$ معاملات ترجيح. ينفذ نظام COBalD/TARDIS إرشادات وحلقات تغذية راجعة فورية لتقريب هذا التحسين ديناميكيًا، مع التكيف مع توفر الموارد وحالات طابور الوظائف.

5. نتائج النموذج الأولي والأداء

وصف الرسم البياني (مفاهيمي): رسم بياني خطي يوضح "السعة الحسابية الإجمالية القابلة للوصول بمرور الوقت". المحور السيني هو الوقت (بالأشهر). يظهر خطان: 1) "مجموعات الموارد الفردية (غير المتصلة)" – خطوط مسطحة ومتدرجة تمثل السعة الثابتة للمواقع الفردية. 2) "المجمع الموحد عبر Compute4PUNCH" – خط أعلى وأكثر ديناميكية يزداد مع دمج المزيد من المواقع ويظهر تقلبات أصغر، مما يوضح موازنة الحمل عبر النظام الموحد. يوضح الرسم البياني النتيجة الرئيسية: يوفر النظام الموحد للمستخدمين مجموعة موارد افتراضية أكبر وأكثر مرونة وأكثر كفاءة في الاستخدام من مجموع أجزائه المعزولة.

أظهرت النماذج الأولية بنجاح إمكانية إرسال الوظائف من نقطة دخول واحدة (JupyterHub) إلى مجموعات HTCondor الخلفية المتعددة ومجموعات الحوسبة الفائقة (HPC) (مثل تلك في KIT، DESY). تم تنفيذ الوظائف التي تستخدم بيئات معتمدة على الحاويات عبر CVMFS بشفافية على بنى مختلفة. تشير المقاييس المبكرة إلى انخفاض وقت انتظار الوظائف للمستخدمين من خلال الاستفادة من الدورات غير المستغلة عبر النظام الموحد، على أن زمن نقل البيانات بين المواقع يبقى عاملاً حاسمًا لأحمال العمل المكثفة البيانات.

6. إطار التحليل: دراسة حالة مفاهيمية

السيناريو: تحليل فيزياء فلكية متعدد الرسائل يرتبط بيانات من تلسكوب نيوترينو (IceCube) ومرصد أشعة غاما (CTA).

سير العمل بدون التوحيد: يجب على الباحث: 1. التقدم بطلبات منفصلة للحصص الحسابية على مجموعة حوسبة فائقة (HPC) للمحاكاة ومزرعة حوسبة عالية الإنتاجية (HTC) لمعالجة الأحداث. 2. نقل مجموعات البيانات الكبيرة (مقياس التيرابايت) يدويًا بين أنظمة التخزين في معاهد مختلفة. 3. إدارة بيئات برمجية وطرق مصادقة متنافرة.

سير العمل مع Compute4PUNCH/Storage4PUNCH: 1. يسجل الباحث الدخول إلى PUNCH JupyterHub باستخدام رمز مميز واحد. 2. يتم تعريف سير عمل التحليل (مثل استخدام Snakemake أو ما شابه). يتم توجيه مهام المحاكاة (المناسبة لـ HPC) تلقائيًا عبر TARDIS إلى موارد HPC المناسبة. يتم إرسال مهام معالجة الأحداث عالية الإنتاجية إلى مزارع HTC. 3. يشير سير العمل إلى البيانات عبر مساحة الأسماء الموحدة للتخزين (مثل `punch://data/icecube/run_xyz.root`). يتولى نظام XRootD/dCache الموحد التعامل مع الموقع والنقل. 4. تسحب جميع الوظائف بيئة برمجية متسقة من CVMFS. توضح هذه الدراسة حالة الإمكانية التحويلية: يركز الباحث على العلم، وليس على لوجستيات البنية التحتية.

7. التطبيقات المستقبلية وخارطة الطريق التطويرية

تُعد بنية PUNCH4NFDI الأساس للعديد من التطبيقات المتقدمة:

• تدريب تعلم الآلة الموحد: الاستفادة من وحدات معالجة الرسومات (GPU) غير المتجانسة عبر المواقع لتدريب النماذج واسعة النطاق، باستخدام إطارات عمل مثل PyTorch أو TensorFlow مع خوارزميات التعلم الموحد المكيفة للبنية الخلفية HTCondor/TARDIS.
• توجيه أحمال العمل الديناميكي القائم على السياسات: دمج الجدولة الواعية بالكربون، حيث يتم توجيه الوظائف إلى المواقع ذات التوفر العالي للطاقة المتجددة، على غرار المفاهيم التي تستكشفها مبادرة Green Algorithms.
• التوحيد بين التحالفات: العمل كنموذج للاتصال مع تحالفات NFDI الأخرى أو المبادرات الأوروبية مثل السحابة الأوروبية المفتوحة للعلوم (EOSC)، لإنشاء بنية بحثية عموم أوروبية.
• التخزين المؤقت الذكي للبيانات والجلب المسبق: استخدام سجل إثبات سير العمل والتحليلات التنبؤية لتخزين مجموعات البيانات استباقيًا في مواقع الحوسبة، للتخفيف من زمن الوصول عبر الشبكة الواسعة (WAN)، وهو تحدي مركزي أيضًا لمشاريع مثل IRIS-HEP.

8. منظور المحلل: الفكرة الأساسية، التسلسل المنطقي، نقاط القوة والضعف، رؤى قابلة للتنفيذ

الفكرة الأساسية: لا يبني PUNCH4NFDI حاسوبًا فائقًا جديدًا؛ بل يبني طبقة افتراضية وتنسيق تحول مشهد الحوسبة البحثية الألماني المجزأ والمتناحر إلى خدمة متماسكة تركز على المستخدم. هذه استراتيجية كلاسيكية "للتوحيد بدلاً من الاستبدال"، تفضل الانتشار والتدرج على التغيير الثوري – وهي خطوة عملية رائعة نظرًا للواقع السياسي والتشغيلي للمؤسسات الممولة من القطاع العام.

التسلسل المنطقي: المنطق سليم: 1) الاعتراف بالتنوع والملكية (تبقى الموارد مع المعاهد). 2) فرض متطلبات جديدة دنيا (استخدام الرموز المميزة، الحاويات). 3) إدخال طبقة وسيطة ذكية وقابلة للتكيف (COBalD/TARDIS) لتجريد التعقيد. 4) توفير واجهات مستخدم بسيطة وحديثة (JupyterHub). 5) توحيد البيانات بشكل مماثل لإكمال الحلقة. إنها خطة تكامل من القاعدة إلى القمة يجب على التحالفات الأخرى دراستها.

نقاط القوة والضعف: نقاط القوة: يقلل استخدام المكونات المجربة والمختبرة (HTCondor، dCache، CVMFS) من مجتمع فيزياء الطاقة العالية (HEP) من المخاطر التقنية بشكل كبير. يركز التركيز على AAI والحاويات على أكبر عائقين للتبني: الوصول والبرمجيات. اختيار COBalD/TARDIS مُلهم – فهو مجدول خفيف الوزن قائم على Python مصمم خصيصًا لهذا السيناريو الهجين والانتهازي. نقاط الضعف الحرجة: الفيل في الغرفة هو حركية البيانات. توحيد الحوسبة أسهل من توحيد التخزين. تذكر الورقة التخزين المؤقت وتقييم البيانات الوصفية، لكن المشكلات الصعبة لأداء مساحة الأسماء العالمية المتسقة، وتكاليف نقل البيانات عبر الشبكة الواسعة (WAN)، وإنفاذ سياسات البيانات عبر المواقع، يتم الإشارة إليها فقط. بدون حل قوي هنا، ستُعاق مجموعة الحوسبة الموحدة في أحمال العمل المكثفة البيانات. علاوة على ذلك، يعتمد النجاح كليًا على المساهمات "العينية" المستدامة من الأعضاء – وهو نموذج اقتصادي هش محتمل.

رؤى قابلة للتنفيذ: 1. لـ PUNCH4NFDI: مضاعفة الجهود على طبقة البيانات. الشراكة بقوة مع مشاريع مثل Rucio لإدارة البيانات و Open Science Grid للخبرة التشغيلية. تطوير اتفاقيات مستوى خدمة (SLAs) واضحة مع مزودي الموارد، خاصة فيما يتعلق بتكاليف خروج البيانات. 2. للمنافسين/المقلدين: لا تكتفِ بنسخ البنية. الدرس الحقيقي يكمن في نموذج الحوكمة والتكامل خفيف الوزن. ابدأ بنموذج أولي يعمل على عدد قليل من المواقع الراغبة وانمُ عضويًا. 3. للبائعين ووكالات التمويل: يوضح هذا النموذج أن استثمارات الحوسبة البحثية المستقبلية يجب أن تمول برمجيات الوساطة للتكامل والاستدامة البرمجية (مثل COBalD) بقدر ما تمول الأجهزة الخام، إن لم يكن أكثر. مولوا "المادة اللاصقة".

في الختام، يمثل نهج PUNCH4NFDI نموذجًا رفيعًا في هندسة البنى التحتية الإلكترونية العملية. إنه يقر بأن أكبر عنق زجاجة في الحوسبة العلمية غالبًا ما لا يكون في قوة الحساب (FLOPS)، بل في قابلية الاستخدام والوصول. إذا تمكنوا من حل مشكلة البيانات الموحدة، فسيكونون قد أنشأوا نموذجًا بإمكانية حقيقية لإعادة تشكيل الحوسبة البحثية ليس فقط في ألمانيا، بل في أوروبا.

9. المراجع

1. تحالف PUNCH4NFDI. (2024). الورقة البيضاء لـ PUNCH4NFDI. NFDI.
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and Computation: Practice and Experience, 17(2-4), 323-356.
3. Giffels, M., et al. (2023). COBalD/TARDIS - A dynamic resource overlay for opportunistic computing. Journal of Physics: Conference Series.
4. Blomer, J., et al. (2011). The CernVM File System. Journal of Physics: Conference Series, 331(5), 052004.
5. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). (تم الاستشهاد بها كمثال على منهجية حسابية تحويلية يمكنها الاستفادة من مثل هذه البنية التحتية الموحدة).
6. تعاون dCache. (2023). dCache: نظام تخزين موزع. https://www.dcache.org.
7. تعاون XRootD. (2023). XRootD: وصول عالي الأداء وقابل للتوسع ومتسامح مع الأخطاء للبيانات. https://xrootd.slac.stanford.edu.
8. السحابة الأوروبية المفتوحة للعلوم (EOSC). (2024). https://eosc-portal.eu.