سؤال مصاحبه

پروژه عملی در خانه: پیاده‌سازی یک دیکودر در سطح نویسه روی لپ‌تاپ

Take-home, a character-level decoder on a laptop

  • سطح ۳: ارشد
  • پروژه‌ی خانگی
  • ۱۵ دقیقه

این آزمون عملیِ خانگی (take-home) ما برای مصاحبه‌هاست: یک ترنسفورمر (Transformer) کوچک فقط-دیکودر (decoder-only) را در سطح نویسه روی یک پیکره متنی (corpus) حدوداً 1 مگابایتی روی لپ‌تاپ آموزش دهید و در نهایت کد، نمودارهای تابع زیان (loss) و چند نمونه خروجی را تحویل دهید. بگویید چطور به این مسئله نزدیک می‌شوید، داور در کار تحویلی شما چه مواردی را بررسی می‌کند و چه نتایجی اثبات می‌کنند مدل درست کار می‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

معماری مرجع و کوچک را بسازید: یک توکنایزر نویسه‌ای روی 65 نمادِ موجود در پیکره متنی، امبدینگ توکن (token embedding) به‌همراه امبدینگ مکانی یادگیری‌پذیر (learned positional embedding)، دسته‌ای از بلوک‌های پیش‌نرمال‌سازی (pre-norm) با RMSNorm، اتنشن چندسر (multi-head attention) علّی و شبکه SwiGLU، یک نرمال‌سازی نهایی و یک هد (head) که وزنش با امبدینگ گره خورده است (tied). مدل را با تابع زیان آنتروپی متقاطع (cross-entropy) و با یک واحد جابه‌جایی روی پنجره‌های تصادفی 256نویسه‌ای آموزش دهید. از AdamW، برنامه‌ی زمان‌بندی کسینوسی (cosine schedule) همراه با گرم‌کردن (warmup) و برش گرادیان (gradient clipping) روی 1.0 استفاده کنید و 10 درصد پایانی متن را برای داده‌های ارزیابی کنار بگذارید. خط مبنای مدنظر این درس: یک مدل 4 لایه و 4 هد با پهنای 128 و حدود 800K پارامتر، در 2000 گام (حدود 6 دقیقه روی لپ‌تاپ) مقدار تابع زیان آموزش را از حدود 4.2 به حدود 1.5 می‌رساند؛ زیان ارزیابی زیر 2.0 باقی می‌ماند و موازی با زیان آموزش پیش می‌رود، و نمونه‌های تولیدی کاملاً شبیه پیکره متنی هستند.

پاسخ کامل

آنچه باید بسازید

tokens (B, N) -> embedding + position -> [norm, causal attention, residual, norm, SwiGLU, residual] x L
            -> final norm -> head tied to the embedding -> logits (B, N, V) -> shift-by-one loss

یک توکنایزر نویسه‌ای در سطح بایت نیازی به آموزش ندارد. تقسیم داده‌ها به‌صورت 90 به 10 بر اساس موقعیت متن انجام می‌شود تا متن ارزیابی هرگز در طول آموزش دیده نشود.

حلقه‌ی آموزش

for step in range(max_steps):
    x, y = get_batch("train")
    logits = model(x)
    loss = F.cross_entropy(logits.view(-1, vocab_size), y.view(-1))
    loss.backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
    opt.step()
    opt.zero_grad()

زیان آموزش و ارزیابی را روی یک نمودار ثبت کنید. پس از پایان آموزش، با روش top-p نمونه‌برداری کنید و بعد از 500 نویسه فرایند را متوقف سازید.

داور چه مواردی را بررسی می‌کند

  1. صحت تابع هدف. ماسک علّی (causal mask) پیش از سافت‌مکس (softmax) اعمال شود و تارگت‌ها همان ورودی‌ها باشند که یک واحد به جلو شیفت خورده‌اند. وجود یک آزمون واحد (unit test) که توکن‌های بعدی را دستکاری کند و دست‌نخورده ماندن خروجی‌های قبلی را بسنجد، نشانه‌ی بسیار مثبتی است.
  2. مقدار زیان اولیه. در گام صفر باید حدود 4.2 باشد؛ یعنی خط مبنای (baseline) توزیع یکنواخت، که همان لگاریتم 65 است. اگر کار با عددی بسیار کمتر از این آغاز شود، باید احتمال نشت داده را بررسی کرد.
  3. انضباط در ارزیابی. داده‌های ارزیابی کنارگذاشته‌شده (held-out split) که در فواصل منظم لاگ می‌شوند و همگام با زیان آموزش پایین می‌آیند؛ طبق تجربه این درس، در این ابعاد و بودجه بیش‌برازش (overfitting) رخ نمی‌دهد. اگر زیان ارزیابی خیلی کمتر از زیان آموزش باشد، باید تفکیک داده‌ها و کد محاسبه‌ی زیان را بررسی کرد؛ چون 10 درصد پایانی متن ممکن است ساده‌تر از بقیه‌ی آن باشد.
  4. اصول حرفه‌ای آموزش. برش گرادیان، برنامه‌ی زمان‌بندی نرخ یادگیری، سید (seed) ثابت و اجرایی با نتایج بازتولیدپذیر.
  5. بررسی کیفی نمونه‌ها. وجود شکستگی خطوط، کلمات کهن و نام گویندگان با حروف بزرگ؛ متن باید از نظر ساختار و سبک شبیه پیکره متنی باشد، نه کپی دقیق آن.

چه نتایجی اثبات می‌کنند مدل کار می‌کند

منحنی تابع زیان که از حدود 4.2 به حدود 1.5 می‌رسد، زیان ارزیابیِ زیر 2.0 که آن را دنبال می‌کند، و نمونه‌هایی که خواننده بتواند سبک پیکره متنی را در آن‌ها تشخیص دهد. ارائه‌ی گزارشی که در آن نام خطاهای دیده‌شده و نحوه‌ی رفع آن‌ها آمده باشد، حتی از زیان پایین‌تر هم امتیاز بیشتری دارد.

اهداف پیشرفته برای متمایز شدن داوطلبان

امبدینگ مکانی یادگیری‌پذیر را با چرخش کوری‌ها و کلیدها جایگزین کنید و نشان دهید زیان ارزیابی حداقل به همان اندازه پایین می‌آید. یک کش برای کلیدها و مقادیر به حلقه‌ی نمونه‌برداری اضافه کنید و نشان دهید تولید نمونه‌ی 500نویسه‌ای بین 5 تا 20 برابر سریع‌تر اجرا می‌شود. آموزش را تا 5000 گام ادامه دهید و گزارش کنید که آیا زیان ارزیابی همچنان بهبود می‌یابد یا خیر.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: زیان آموزش در گام صفر چقدر است و از کجا می‌فهمید درست است؟ پاسخ مورد انتظار: تقریباً برابر با لگاریتم اندازه‌ی واژگان (vocabulary size)؛ یعنی برای 65 نماد حدود 4.2، چون خروجی یک مدل تصادفی توزیع یکنواخت دارد.
  • سطح 3: داور بدون خواندن کد چطور می‌فهمد ماسک علّی شما درست کار می‌کند؟ پاسخ مورد انتظار: تستی که یکی از نویسه‌های بعدی را تغییر دهد و مطمئن شود لاجیت‌های (logits) قبلی تغییری نمی‌کنند، و زیانی که دقیقاً از همان خط مبنای تصادفی شروع شود.
  • سطح 3: چرا در این مقیاس، وزن هد را با امبدینگ گره می‌زنند؟ پاسخ مورد انتظار: این کار پارامترها را کاهش می‌دهد و در درس دیدیم که کیفیت را هم بهتر می‌کند؛ وزن هد در واقع ترانهاده‌ی (transpose) ماتریس امبدینگ است.
  • سطح 4: اگر داوطلبی توکنایزر نویسه‌ای را بردارد و از یک واژگان زیرکلمه (subword) با حدود 50000 توکن استفاده کند، چه چیزهای دیگری باید تغییر کنند؟ پاسخ مورد انتظار: امبدینگ و هد از 65 سطر به حدود 50000 سطر می‌رسند، مدل برای استفاده از آن‌ها به گنجایش بیشتری نیاز پیدا می‌کند، و پنجره‌ها به ازای هر توکن، متن بسیار بیشتری را پوشش می‌دهند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «استفاده از مدل بزرگ‌تر برای رسیدن به زیان کمتر در همان بازه‌ی زمانی.» مدل بزرگ‌تر روی لپ‌تاپ کندتر آموزش می‌بیند و استاندارد درس ما با 800K پارامتر ظرف حدود 6 دقیقه محقق می‌شود.
  • «نیازی به جداسازی داده‌های ارزیابی نیست؛ چون پیکره متنی خیلی کوچک است.» تفکیک داده‌ها تنها راه برای اطمینان از عدم نشت است و داور قبل از هر چیز همین را چک می‌کند.
  • «گزارش کیفیت نمونه‌ها به‌جای مقدار زیان.» نمونه‌ها شواهد (evidence) هستند نه سنجه؛ نمودارها و زیان داده‌های نگه‌داشته‌شده (held-out) همان مواردی هستند که داور برای مقایسه‌ی داوطلبان به آن‌ها تکیه می‌کند.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی ترنسفورمر معماری و مقادیر هدف را تعیین می‌کند، و پروژه‌ی پایانی بلوک ترنسفورمر بلوک‌هایی را می‌سازد که مدل روی هم سوار می‌کند.