یک تیم پیشآموزش میخواهد در هر موقعیت، نظارتی فراتر از صرفاً توکن بعدی اعمال کند. یک طرح، چند سر خروجی مستقل را روی بکبون (Backbone) اصلی قرار میدهد. طرح دیگر، ماژولهای کوچکی را زنجیرهوار به هم وصل میکند؛ یعنی یک ماژول به ازای هر لایه عمق اضافه. کدام طرح یک پیشنویس حدسی (Speculative Draft) کارآمد در زمان استنتاج در اختیارتان میگذارد، و هزینهی آن در طول آموزش چقدر است؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
طرح زنجیرهای. ماژول k وضعیت پنهان (Hidden State) عمق قبلی و امبدینگ (Embedding) توکن بعدیِ واقعی را میگیرد، آن را از یک بلوک ترنسفورمر (Transformer Block) کوچک و اختصاصی عبور میدهد، و دوباره از همان امبدینگ مشترک و سر خروجی مشترک (Shared Output Head) استفاده میکند. بنابراین، پیشبینی آن برای توکن موقعیت t + k + 1 به توکن موقعیت t + k مشروط میشود؛ این دقیقاً همان زنجیرهی علی (Causal Chain) است که یک مدل رمزگشا (Decoder) دنبال میکند. همین ویژگی به ماژول امکان میدهد در زمان استنتاج، توکنها را پیشنویس کند و به نرخ پذیرش 80 درصد یا بیشتر در عمق یک برسد، که نرخ پردازش (Throughput) را حدود 1.8 برابر میکند. هدهای مستقل همگی همان وضعیت پنهان یکسان را میخوانند و نمیتوانند مشروط به یکدیگر عمل کنند. هزینهی آموزش شامل حدود 10 درصد کندتر شدن پیشآموزش و تقریباً 14 h به توان دو پارامتر به ازای هر ماژول است، با وزن تابع زیان (Loss) معادل 0.3 در ابتدای آموزش و 0.1 در ادامه.
پاسخ کامل
ساختار متوالی
برای یک پیشوند تا موقعیت i، عمق صفر همان بکبون اصلی است و عمق k روی عمق k - 1 ساخته میشود:
h_i^(k) = T_k( M_k · concat( RMSNorm(h_i^(k-1)), RMSNorm(E(t_{i+k})) ) )
logits_{i+k+1} = Out( h_i^(k) )
L_k = cross-entropy( logits_{i+k+1}, t_{i+k+1} )
L_MTP = (lambda / D) · sum over k of L_k
در اینجا E جدول امبدینگ و Out سر خروجی است، که هر دو با مدل اصلی به اشتراک گذاشته شدهاند. M_k وضعیت پنهان قبلی و امبدینگ توکن بعدی را در قالب یک بردار ادغام میکند. T_k یک بلوک ترنسفورمر است. تابع زیان کل برابر است با زیان پیشبینی توکن بعدی (Next-Token Prediction) اصلی بهعلاوهی L_MTP، با ضریب لاندا معادل 0.3 برای 10 درصد اول آموزش و 0.1 برای ادامهی آن.
چرا ساختار زنجیرهای اهمیت دارد؟
برای پیشبینی دو توکن جلوتر، ماژول اول میبیند که توکن بعدی واقعاً چه بوده است. موقع استنتاج، به جای آن توکن واقعی، توکن پیشنویسشده را به ماژول میدهید و ماژول توکن بعد از آن را پیشبینی میکند. این دقیقاً همان سازوکار پیشنویس بر پایهی وضعیت پنهان است؛ بنابراین ماژولِ آموزشدیده، عملاً یک شبکهی پیشنویس کاملاً رایگان در اختیارتان میگذارد. در مقابل، هدهای موازی همگی از روی یک وضعیت پنهان واحد شلیک میکنند، بنابراین هد دوم نمیتواند از خروجی هد اول کمک بگیرد. یک مدل اعتبارسنج (Verifier) همچنان میتواند حدسهای آنها را بررسی کند، اما نرخ پذیرش آنها کمتر خواهد بود.
محاسبهی هزینهها و پارامترها
به ازای هر ماژول: لایهی تصویر (Projection) معادل 2 h^2 پارامتر دارد و خود بلوک برای اتنشن (Attention) و MLP دریچهدار (Gated MLP) حدود 12 h^2 پارامتر میبرد، یعنی در مجموع حدود 14 h^2. با اندازهی وضعیت پنهان 7168 و استفاده از یک ماژول، این مقدار روی کاغذ حدود 720M پارامتر میشود؛ اما رقم منتشرشده در عمل 14B روی یک مدل اصلی 671B است (حدود 2 درصد)، چون MLP ماژول ساختار متخصصانِ (Experts) مدل اصلی را به ارث میبرد. امبدینگ و سر خروجی هم هیچ پارامتری اضافه نمیکنند، چون مشترک هستند.
دستاوردهای این روش
- سیگنال آموزشی متراکمتر: روی هر وضعیت پنهان بر اساس D + 1 هدف نظارت میشود، و گزارشها نشاندهندهی بهبودهای پیوسته در ارزیابیهای استدلال، ریاضی و کدنویسی هستند.
- یک مدل پیشنویس در زمان استنتاج با نرخ پذیرش 80 درصد یا بیشتر در عمق یک، که نرخ پردازش تولید متن را حدود 1.8 برابر میکند؛ بنابراین هزینهی صرفشده در زمان آموزش، در همان نخستین سرویسدهی مدل جبران میشود.
مقایسه با پیشنویس پسینی (Post-hoc Draft)
| پیشنویس پسینی بر پایهی وضعیت پنهان | ماژولهای توکار | |
|---|---|---|
| زمان آموزش | پس از پیشآموزش | در طول پیشآموزش |
| سازگاری با وزنهای موجود | بله | خیر، نیاز به بازآموزی دارد |
| پارامترهای پیشنویس | یک یا دو لایه | یک بلوک بهعلاوهی یک لایهی تصویر |
| نرخ پذیرش | 0.88 تا 0.92 | 0.80 به بالا در عمق یک |
| مزیتی فراتر از سرعت | ندارد | سیگنال آموزشی متراکمتر |
زمانی از طراحی توکار استفاده کنید که پیشآموزش دست خودتان است و اندازهی وضعیت پنهان حداقل 4096 باشد؛ در مقیاس 1B، سربار این روش بیشتر از سودش به مدل آسیب میزند. وقتی وزنهای مدل از قبل آمادهاند، از پیشنویس پسینی استفاده کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا جدول امبدینگ و سر خروجی با مدل اصلی به اشتراک گذاشته میشوند؟ پاسخ مورد انتظار: برای جلوگیری از افزودن پارامتر جدید، و برای اینکه ماژول بتواند در همان فضای واژگان بکبون پیشبینی کند.
- سطح 3: چرا سربار پارامترهای اعلامشده از تخمین
14 h^2بیشتر است؟ پاسخ مورد انتظار: بخش MLP ماژول ساختار متخصصانِ مدل اصلی را دارد که تعداد پارامترهایش را چند برابر میکند. - سطح 4: اگر دو ماژول داشته باشیم، ماژول دوم چه ورودیای میگیرد؟ پاسخ مورد انتظار: وضعیت پنهان ماژول اول و امبدینگِ توکنی که دو گام جلوتر است، تا بتواند توکن سه گام جلوتر را پیشبینی کند.
- سطح 4: تیمی میخواهد با فاینتیونینگ (Fine-tuning) یک سر جدید، این قابلیت را به یک مدل متراکم (Dense) موجود اضافه کند. پاسخ شما چیست؟ پاسخ مورد انتظار: ماژول هنوز آموزش ندیده و بکبون مدل هم با این تابع زیان اضافه شکل نگرفته است؛ دیدگاه این درس این است که چنین کاری نیازمند پیشآموزش است و برای وزنهای موجود، پیشنویس پسینی گزینهی مناسب به شمار میرود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «این زیانِ اضافه جایگزین پیشبینی توکن بعدی میشود.» خیر، این زیان با ضریب وزنی پایینی به تابع زیان اصلی افزوده میشود و هدف اصلی به قوت خود باقی میماند.
- «میتوان این ماژول را با یک فاینتیونینگ سریع روی یک مدلِ آموزشدیده سوار کرد.» این معماری تصمیمی در مرحلهی پیشآموزش است؛ برای وزنهای موجود باید به سراغ پیشنویس پسینی رفت.
کجای دوره آموزش داده میشود
درس پیشبینی چندتوکنی ساختار متوالی، تابع زیان، حسابوکتاب پارامترها و مقایسه با پیشنویسهای پسینی را به تفصیل آموزش میدهد.