كيف تتعلم النماذج «الأدب»؟ قصة التعلم المعزّز من ملاحظات البشر
النموذج الخام يكمل النص فقط. تقنية RLHF هي ما يحوّله إلى مساعد يتبع التعليمات ويرفض الطلبات الضارة، وقد شرحتها OpenAI بالتفصيل في ورقة InstructGPT.
بعد التدريب الأولي على نصوص الإنترنت، يصبح النموذج بارعاً في شيء واحد: توقّع الكلمة التالية. اسأله سؤالاً فقد يكمل بسؤال آخر بدلاً من الإجابة. ما يحوّله إلى مساعد مفيد هو مرحلة لاحقة تُسمى المحاذاة.
المراحل الثلاث
- الضبط بالإشراف: يكتب بشر إجابات نموذجية لطلبات متنوعة، ويُدرَّب النموذج على محاكاتها.
- نموذج المكافأة: يولّد النموذج عدة إجابات للطلب نفسه، فيرتبها مقيّمون من الأفضل إلى الأسوأ، ويُدرَّب نموذج ثانٍ على التنبؤ بهذا الترتيب.
- التعلم المعزّز: يُحسَّن النموذج الأصلي ليحصل على أعلى «مكافأة» ممكنة من نموذج المكافأة.
بدائل أبسط
لاحقاً اقترح باحثون من جامعة ستانفورد طريقة DPO التي تتعلم من التفضيلات البشرية مباشرة، دون نموذج مكافأة منفصل ودون حلقة تعلم معزّز، وصارت شائعة لبساطتها.