«مزيج الخبراء»: الحيلة الهندسية التي تجعل النماذج أكبر وأرخص معاً

تخيّل مستشفى يدخل إليه كل مريض فيمر على جميع الأطباء. هذا ما يفعله النموذج «الكثيف» التقليدي: كل معاملاته تعمل مع كل كلمة. أما بنية مزيج الخبراء (Mixture of Experts) فتشبه مستشفى فيه موظف استقبال يوجّه كل مريض إلى طبيبين مختصين فقط.

كيف تعمل؟

في كل طبقة من النموذج توجد مجموعة من الشبكات الفرعية تُسمى «خبراء»، وشبكة صغيرة تُسمى الموجِّه (Router) تقرر أي الخبراء يعالج الكلمة الحالية. الفكرة طُرحت في ورقة لباحثين من Google عام 2017، ثم انتشرت مع النماذج اللغوية الكبيرة.

المقايضة

المكسب واضح: سعة معرفية أكبر بكلفة حسابية أقل لكل كلمة. لكن على النموذج أن يبقى كاملاً في الذاكرة حتى وإن لم يعمل كله، لذلك تحتاج نماذج MoE إلى ذاكرة أكبر من نموذج كثيف له السرعة نفسها.