LoRA: كيف تخصّص نموذجاً لغوياً ضخماً على حاسوب واحد
بدلاً من تعديل مليارات المعاملات، تضيف تقنية LoRA مصفوفات صغيرة قابلة للتدريب وتترك النموذج الأصلي كما هو. النتيجة تخصيص سريع بجزء صغير من الكلفة.
الضبط الدقيق الكامل (Full Fine-tuning) يعني تحديث كل معاملات النموذج، وهذا يتطلب ذاكرة هائلة ونسخة كاملة من النموذج لكل مهمة. تقنية LoRA، أي «التكيّف منخفض الرتبة»، تقترح طريقاً أخف.
الفكرة باختصار
تُجمَّد أوزان النموذج الأصلي تماماً، وتُضاف إلى بعض طبقاته مصفوفتان صغيرتان تُدرَّبان وحدهما. التعديل الذي تتعلمه هاتان المصفوفتان يُضاف إلى ناتج الطبقة. وفي ورقتها الأصلية أفادت Microsoft بأن ذلك قلّل المعاملات القابلة للتدريب في نموذج بحجم GPT-3 بنحو عشرة آلاف مرة، مع جودة مماثلة للضبط الكامل في التجارب.
ميزة إضافية
لأن «مُكيِّف» LoRA ملف صغير، يمكنك الاحتفاظ بنموذج أساسي واحد وعشرات المكيّفات: واحد لخدمة العملاء، وآخر للصياغة القانونية، وثالث للهجة محلية، والتبديل بينها حسب الحاجة.