بنية تحتية موحدة للحوسبة والتخزين غير المتجانسة لـ PUNCH4NFDI

1. المقدمة

PUNCH4NFDI (الجسيمات، الكون، النوى والهادرونات للبنية التحتية الوطنية لبيانات البحث) هو اتحاد ألماني رئيسي يموله DFG (مؤسسة الأبحاث الألمانية). يمثل حوالي 9000 عالم من مجتمعات فيزياء الجسيمات، والفيزياء الفلكية، وفيزياء الجسيمات الفلكية، وفيزياء الهادرونات، والفيزياء النووية. الهدف الرئيسي للاتحاد هو إنشاء منصة موحدة لبيانات العلوم وفق مبادئ FAIR (القابلية للاكتشاف، والوصول، والتشغيل البيني، وإعادة الاستخدام). تسلط هذه المساهمة الضوء بشكل خاص على المفاهيم المعمارية – Compute4PUNCH و Storage4PUNCH – المصممة لتوحيد الوصول إلى موارد الحوسبة (HPC، HTC، السحابة) والتخزين شديدة التنوع التي تقدمها المؤسسات الأعضاء عينيةً في جميع أنحاء ألمانيا.

2. البنية التحتية الموحدة للحوسبة غير المتجانسة – Compute4PUNCH

تتناول مبادرة Compute4PUNCH تحدي توفير وصول سلس إلى مجموعة متنوعة من موارد الحوسبة الحالية دون فرض تغييرات جوهرية على النماذج التشغيلية لمقدمي الموارد.

3. البنية التحتية الموحدة للتخزين – Storage4PUNCH

يهدف Storage4PUNCH إلى توحيد أنظمة التخزين المجتمعية، المعتمدة بشكل أساسي على تقنيتي dCache و XRootD الراسختين في فيزياء الطاقة العالية (HEP).

4. التفاصيل التقنية والإطار الرياضي

يمكن نمذجة منطق الجدولة الأساسي في COBalD/TARDIS كمشكلة تحسين. لنفترض أن $R = \{r_1, r_2, ..., r_n\}$ هي مجموعة طلبات الموارد من مجموعة HTCondor، وأن $B = \{b_1, b_2, ..., b_m\}$ هي مجموعة أنواع الموارد الخلفية المتاحة (مثل عقدة HPC، آلة افتراضية سحابية). لكل طلب $r_i$ متطلبات (نوى، ذاكرة، برمجيات). لكل نظام خلفي $b_j$ دالة تكلفة $C_j(r_i)$ ووقت توفير $T_j(r_i)$.

هدف الجدولة الفائقة هو إيجاد تعيين $M: R \rightarrow B$ يقلل من دالة التكلفة الإجمالية، والتي غالباً ما تكون مجموعاً مرجحاً للتكلفة المالية ووقت الإنجاز، مع مراعاة قيود مثل حصص الأنظمة الخلفية وتوافر البرمجيات:

$$\min_{M} \sum_{r_i \in R} \left[ \alpha \cdot C_{M(r_i)}(r_i) + \beta \cdot T_{M(r_i)}(r_i) \right]$$

حيث $\alpha$ و $\beta$ عاملان ترجيحيان. وهذا يجسد تحدي التكامل "الديناميكي والشفاف" بشكل رياضي.

5. نتائج النموذج الأولي والأداء

تتناول الورقة التجارب الأولية مع التطبيقات العلمية التي تعمل على النماذج الأولية المتاحة. بينما لم يتم تفصيل معايير أداء كمية محددة في المقتطف المقدم، فإن التنفيذ الناجح يشير إلى:

• التكامل الوظيفي: نجحت مجموعة HTCondor/COBalD/TARDIS في توجيه الوظائف إلى أنظمة خلفية مختلفة (HTC، HPC، السحابة).
• توصيل البرمجيات: وفرت CVMFS والحاويات بيئات البرمجيات اللازمة بشكل موثوق عبر عقد العمل غير المتجانسة.
• وصول المستخدم: خدمت JupyterHub وعقد تسجيل الدخول كنقاط دخول فعالة للباحثين.

مخطط مفاهيمي: يمكن تصور بنية النظام كنموذج ثلاثي الطبقات:

1. طبقة وصول المستخدم: JupyterHub، عقد تسجيل الدخول، AAI بالرموز المميزة.
2. طبقة التوحيد والجدولة: مجموعة HTCondor + الجدولة الفائقة COBalD/TARDIS.
3. طبقة الموارد: الأنظمة الخلفية غير المتجانسة (مجموعات HPC، مزارع HTC، آلات افتراضية سحابية) والتخزين الموحد (dCache، حالات XRootD).

6. إطار التحليل: سيناريو حالة استخدام

السيناريو: يحتاج باحث في الفيزياء النووية إلى معالجة 10000 مهمة محاكاة مونت كارلو، تتطلب كل منها 4 نوى معالجة مركزية، و16 جيجابايت من الذاكرة العشوائية، ومجموعة برمجيات محددة (Geant4، ROOT).

1. الإرسال: يسجل الباحث الدخول إلى PUNCH JupyterHub، ويكتب سيناريو تحليل، ويرسل 10000 وظيفة إلى مجدول HTCondor المحلي.
2. الجدولة الفائقة: يراقب COBalD/TARDIS قائمة انتظار HTCondor. ويقيم الأنظمة الخلفية المتاحة: مزرعة HTC في الجامعة أ (تكلفة منخفضة، وقت انتظار طويل)، مجموعة HPC في المعهد ب (تكلفة معتدلة، أجهزة متخصصة)، وسحابة تجارية (تكلفة عالية، توفر فوري).
3. القرار والتنفيذ: باستخدام نموذج التكلفة الخاص به، قد يقرر TARDIS إطلاق 2000 وظيفة فورية إلى السحابة للبدء بسرعة، بينما يستنزف الباقي بثبات على مزرعة HTC الأرخص. ويستخدم AAI بالرموز المميزة للتوثيق على جميع الأنظمة.
4. البرمجيات والبيانات: كل وظيفة، بغض النظر عن النظام الخلفي، تسحب بيئة Geant4/ROOT الخاصة بها من CVMFS. يتم جلب بيانات الإدخال من مساحة الأسماء الموحدة لـ Storage4PUNCH (عبر XRootD مثلاً)، ويتم كتابة المخرجات مرة أخرى إلى نقطة نهاية تخزين محددة.
5. الإكمال: يراقب الباحث ويجمع النتائج من قائمة انتظار وظائف HTCondor الواحدة، دون أن يدرك التنفيذ متعدد البنى التحتية الأساسي.

7. التحليل النقدي والمنظور الخبير

الفكرة الأساسية: لا يبني PUNCH4NFDI سحابة أخرى؛ بل يصمم طبقة توحيد تتميز ببراغماتية سياسية وتقنية ملحوظة. يكمن ابتكاره الحقيقي في الجدولة الفائقة COBalD/TARDIS، التي تعمل كـ "مترجم دبلوماسي" لتقاسم الموارد، وليس كموحد قاهر. وهذا يعترف بسيادة المجموعات المؤسسية الحالية – وهي حقيقة غير قابلة للتفاوض في الأوساط الأكاديمية الألمانية – مع إنشاء مورد فائق وظيفي.

التدفق المنطقي: المنطق لا تشوبه شائبة: ابدأ بالمستخدم (JupyterHub/تسجيل الدخول)، واجرد الفوضى عبر مجدول مجرب (HTCondor)، ثم استخدم وسيطاً ذكياً (TARDIS) لتعيين الطلبات المجردة على أنظمة خلفية ملموسة وقابلة للتطبيق سياسياً. الاعتماد على CVMFS والحاويات للبرمجيات هو ضربة سيد، تحل مشكلة "جحيم التبعيات" التي تعاني منها معظم الاتحادات. استراتيجية التخزين محافظة بحكمة، مبنية على الثنائي المجرب dCache/XRootD من HEP، متجنبة مستنقع محاولة فرض تقنية جديدة واحدة.

نقاط القوة والضعف:

• نقاط القوة: الحد الأدنى من التدخل هي قوتها الخارقة. لا تتطلب من المزودين تغيير سياساتهم المحلية. استخدام أدوات ناضجة يقودها المجتمع (HTCondor، CVMFS، dCache) يقلل من المخاطر ويزيد الاستدامة بشكل كبير، على عكس المشاريع المبنية على أطر عمل مخصصة. التركيز على مبادئ FAIR يتوافق تماماً مع متطلبات التمويل الحديثة.
• نقاط الضعف والمخاطر: تقدم منهجية الجدولة الفائقة نقطة تعقيد وفشل محتمل وحيدة. COBalD/TARDIS، رغم وعدها، ليست مجربة بقدر المكونات الأخرى. "التقييم" لتقنيات التخزين المؤقت/بيانات التعريف (مثل Rucio) يشير إلى أن أصعب جزء لا يزال قادماً: إدارة البيانات الذكية. بدونها، هذا اتحاد حوسبة مع دليل تخزين مرفق، وليس منصة متماسكة تركز على البيانات. هناك أيضاً خطر كامن من عدم القدرة على التنبؤ بالأداء للمستخدمين، حيث تقفز وظائفهم بين بنى تحتية مختلفة جوهرياً.

رؤى قابلة للتنفيذ:

1. لمصممي PUNCH: عززوا جعل TARDIS قوية وقابلة للملاحظة. مقاييسها وسجلات قراراتها هي كنز للتحسين وبناء الثقة. قدموا أولوية لتكامل طبقة إدارة البيانات (مثل Rucio) بعد ذلك؛ الحوسبة بدون بيانات ذكية هي نصف حل.
2. للاتحادات الأخرى: هذه خطة تستحق المحاكاة، خاصة فلسفة "التكامل بدلاً من الاستبدال". ومع ذلك، قيموا ما إذا كان مجتمعكم يمتلك ما يعادل CVMFS – إذا لم يكن الأمر كذلك، فهذا هو قرار البناء/الشراء الأول لديكم.
3. لمقدمي الموارد: هذا النموذج منخفض المخاطر بالنسبة لكم. تفاعلوا معه. AAI القائمة على الرموز المميزة هي طريقة نظيفة لتقديم الوصول دون المساس بالأمان المحلي. إنها مكسب صافٍ للرؤية والاستخدام.

8. التطبيقات المستقبلية وخارطة الطريق للتطوير

تضع بنية PUNCH4NFDI الأساس للعديد من التطبيقات المتقدمة واتجاهات البحث:

• سير العمل عبر المجالات: تمكين خطوط تحليل معقدة متعددة الخطوات تنتقل بسلاسة بين المحاكاة (HPC)، ومعالجة الأحداث عالية الإنتاجية (HTC)، وتدريب التعلم الآلي (وحدات معالجة الرسومات السحابية).
• الجدولة المركزة على البيانات: تكامل اتحاد التخزين بشكل أعمق مع مجدول الحوسبة. يمكن لإصدارات مستقبلية من COBald/TARDIS أن تأخذ في الاعتبار محلية البيانات (تقليل نقلات الشبكة الواسعة) والتجهيز المسبق في دالة التكلفة الخاصة بها، والانتقال نحو جدولة واعية بالبيانات.
• التكامل مع مستودعات بيانات FAIR: العمل كعمود فقري عالي الأداء للحوسبة لمستودعات بيانات FAIR الوطنية، مما يسمح للباحثين بتحليل مجموعات البيانات الكبيرة مباشرة حيث يتم تخزينها، وفق نموذج "الحوسبة إلى البيانات".
• الذكاء الاصطناعي/التعلم الآلي كخدمة: يمكن توسيع واجهة JupyterHub والخلفية القابلة للتوسع ببيئات مُعدة لأطر عمل الذكاء الاصطناعي/التعلم الآلي المتخصصة (PyTorch، TensorFlow) والوصول إلى موارد وحدات معالجة الرسومات، مما يديم استخدام الذكاء الاصطناعي في العلوم الفيزيائية.
• التوسع ليشمل الموارد الدولية: يمكن توسيع نموذج الاتحاد ليشمل موارد من مبادرات أوروبية مثل السحابة الأوروبية المفتوحة للعلوم (EOSC) أو مواقع شبكة حوسبة مصادم الهادرونات الكبير (WLCG)، لإنشاء بنية تحتية بحثية أوروبية شاملة حقاً.

من المرجح أن تتضمن خارطة الطريق تعزيز النموذج الأولي الحالي، وتوسيع نطاق عدد الموارد المتكاملة، وتنفيذ حلول بيانات التعريف/التخزين المؤقت التي تم تقييمها، وتطوير آليات سياسات ومحاسبة أكثر تطوراً لاستخدام الموارد بشكل عادل عبر الاتحاد.

9. المراجع

1. اتحاد PUNCH4NFDI. (2024). الورقة البيضاء لـ PUNCH4NFDI. [وثيقة اتحاد داخلية].
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). Distributed computing in practice: the Condor experience. Concurrency and computation: practice and experience, 17(2-4), 323-356.
3. Blomer, J., et al. (2011). The CernVM file system. Journal of Physics: Conference Series, 331(5), 052004.
4. توثيق COBalD/TARDIS. (بدون تاريخ). تم الاسترجاع من https://tardis.readthedocs.io/
5. تعاون dCache. (بدون تاريخ). dCache: نظام تخزين موزع. https://www.dcache.org/
6. تعاون XRootD. (بدون تاريخ). XRootD: وصول عالي الأداء، وقابل للتوسع، ومتسامح مع الأخطاء إلى البيانات. http://xrootd.org/
7. Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific data, 3(1), 1-9.
8. السحابة الأوروبية المفتوحة للعلوم (EOSC). (بدون تاريخ). https://eosc-portal.eu/
9. شبكة حوسبة مصادم الهادرونات الكبير العالمية (WLCG). (بدون تاريخ). https://wlcg.web.cern.ch/