«الانتباه هو كل ما تحتاجه»: الورقة التي بُني عليها عصر النماذج اللغوية

قبل المحوّل كانت الشبكات العصبية تقرأ الجملة كلمة بعد كلمة، كما في الشبكات التكرارية (RNN). هذا الأسلوب بطيء في التدريب، ويصعب عليه ربط كلمة في أول النص بأخرى في آخره.

الفكرة المحورية

اقترحت ورقة «Attention Is All You Need» أن يُنظر إلى الجملة كلها دفعة واحدة. تحسب آلية الانتباه الذاتي لكل كلمة مدى ارتباطها بكل كلمة أخرى، فيفهم النموذج أن الضمير في «أخذ الطالب الكتاب لأنه كان مهتماً» يعود إلى الطالب لا إلى الكتاب.

لماذا كانت نقطة تحول؟

لأن الحسابات لم تعد تسلسلية، صار ممكناً توزيعها على آلاف المعالجات الرسومية في الوقت نفسه. هذا ما فتح الباب أمام تدريب نماذج أكبر بكثير على نصوص أكثر بكثير، ومنه جاءت عائلات مثل BERT وGPT وما تلاها.

بعد سنوات من نشرها، ما زالت الورقة من أكثر الأوراق استشهاداً في تاريخ علوم الحاسوب.