تعزيز معدل تدريب نماذج Mixture-of-experts باستخدام نوى الدمج المتقدمة

أصبحت نماذج Mixture-of-experts (MoE) بسرعة مكونًا أساسيًا في أنظمة الذكاء الاصطناعي الحديثة واسعة النطاق. تُستخدم هذه النماذج على نطاق واسع لأنها تتيح سعة نموذجية أكبر بكثير مع تفعيل مجموعة فرعية فقط من المعاملات لكل رمز، مما يوفر نهجًا لا مثيل له لتوسيع الأداء ضمن ميزانية حسابية عملية. مع استمرار زيادة حجم النماذج، تقدم NVIDIA نوى دمج متقدمة تعزز معدل تدريب MoE، مما يحسن الكفاءة والأداء في تدريب نماذج الذكاء الاصطناعي واسعة النطاق.