«الانتباه هو كل ما تحتاجه»: الورقة التي بُني عليها عصر النماذج اللغوية
في عام 2017 اقترح باحثون في Google بنية «المحوِّل» (Transformer). بعد سنوات صارت هذه البنية الأساس الذي تقوم عليه معظم نماذج اللغة الحديثة.
الأبحاث
الأوراق العلمية التي تشكّل المجال.
قوانين التوسّع: لماذا ظلّت النماذج تكبر، وهل للأمر حدّ؟
أظهرت أبحاث بين 2020 و2022 أن أداء النماذج يتحسن بانتظام مع زيادة حجمها وبياناتها وحوسبتها، ثم كشفت أن معظم النماذج آنذاك كانت تُدرَّب على بيانات أقل مما تحتاج.
«فكّر خطوة بخطوة»: كيف غيّرت سلسلة الأفكار طريقة استدلال النماذج
اكتشف باحثون أن مطالبة النموذج بكتابة خطوات الحل قبل الإجابة ترفع دقته في المسائل المنطقية والحسابية. ومن هذه الفكرة وُلدت «نماذج الاستدلال».