سؤال مصاحبه

دمای نمونه‌گیری چطور توزیع را تغییر می‌دهد

What temperature does to sampling

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

آن تک‌خط کدی را بنویسید که دمای نمونه‌گیری (Sampling temperature) را روی بردار لاجیت‌ها (Logits) اعمال می‌کند؛ سپس بگویید وقتی دما به سمت صفر میل می‌کند، برابر با 1 می‌شود و از 1 بالاتر می‌رود، چه بلایی سر توزیع می‌آید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

قبل از سافت‌مکس (Softmax)، لاجیت‌ها را بر دما تقسیم کنید. در نزدیکی صفر، این تقسیم فاصله‌ی بین لاجیت‌ها را کش می‌آورد؛ در نتیجه بزرگ‌ترین لاجیت تقریباً تمام جرم احتمال را می‌گیرد و نمونه‌گیری حریصانه (Greedy) می‌شود. در دمای 1، خودِ توزیعِ مدل استفاده می‌شود؛ و در دماهای بالاتر از 1، فاصله‌ها آب می‌روند، توزیع تخت‌تر می‌شود و توکن‌های نادر بیشتر انتخاب می‌شوند.

پاسخ کامل

تک‌خط کد

probs = softmax(logits / temperature)

ترتیب مراحل در یک نمونه‌گیر (Sampler) کامل اهمیت دارد: حلقه‌ی تولید متن لاجیت‌های موقعیت آخر را می‌خواند، آن‌ها را بر دما تقسیم می‌کند، فیلترهای top-k یا top-p را اعمال می‌کند، سافت‌مکس می‌گیرد و در نهایت یک توکن را بیرون می‌کشد.

سه وضعیت دما

دما اثر روی فاصله‌ی بین لاجیت‌ها رفتار
میل به سمت صفر فاصله‌ها بی‌نهایت بزرگ می‌شوند Argmax؛ در هر بار اجرا دقیقاً همان توکن ثابت
برابر با 1 بدون تغییر توزیع طبیعی خود مدل
بالاتر از 1 فاصله‌ها کوچک می‌شوند توزیع تخت‌تر، غافل‌گیری بیشتر، خطاهای بیشتر

چرا تقسیم و نه ضرب؟

ضرب کردن لاجیت‌ها در دما نتیجه‌ای برعکس انتظار به بار می‌آورد: مقدار بالاتر، توزیع را تیزتر و متمرکزتر می‌کند. در آزمایشگاه تمرینی این بخش یک باگ عمدی (Mutant) وجود دارد که همین اشتباه را انجام می‌دهد؛ اولین چیزی هم که آزمون‌های آن بررسی می‌کنند جهت اثرگذاری دماست.

سنجش اثر دما

دو معیار نشان می‌دهند دما چه اثری گذاشته است: احتمال بالاترین توکن و انتروپی (Entropy) توزیع. با بالا رفتن دما، احتمال بالاترین توکن کاهش می‌یابد و انتروپی بالا می‌رود. با جاروب بازه‌ای از دماهای مختلف (Sweep) روی لاجیت‌های ثابت، می‌توانید بدون نیاز به درگیر کردن مدل هر دو نمودار را ببینید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا دمای صفر در کد به یک حالت خاص (Special case) نیاز دارد؟ پاسخ مورد انتظار: به خاطر خطای تقسیم بر صفر؛ بنابراین به جای تقسیم، باید آن را به‌صورت argmax پیاده‌سازی کرد.
  • سطح 2: محصولی خروجی قطعی (Deterministic) می‌خواهد. آیا دمای صفر کافی است؟ پاسخ مورد انتظار: دمای صفر تصادفی بودن نمونه‌گیری را حذف می‌کند، اما برابری مقدار لاجیت‌ها (Ties) و تفاوت‌های محاسبات عددی در دسته‌های مختلف (Batches) همچنان می‌تواند خروجی argmax را تغییر دهد.
  • سطح 2: دما چطور با حد آستانه‌ی top-p تعامل دارد؟ پاسخ مورد انتظار: حد آستانه باید روی احتمالاتی اعمال شود که با دما مقیاس‌بندی شده‌اند؛ در غیر این صورت، توزیع را در دمای 1 برش می‌دهد و اثر این تنظیم کمتر از حد انتظار خواهد بود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دما بعد از سافت‌مکس احتمالات را مقیاس‌بندی می‌کند.» مقیاس‌بندی احتمالات و بازنرمال‌سازی آن‌ها هیچ تغییری ایجاد نمی‌کند؛ تقسیم باید روی لاجیت‌ها انجام شود.
  • «دمای بالاتر مدل را باهوش‌تر می‌کند.» دمای بالا فقط توزیع را تخت‌تر می‌کند و صرفاً تکرار را با خطاهای بیشتر معاوضه می‌کند.
  • «دمای 1 یعنی بدون نمونه‌گیری.» دمای 1 یعنی نمونه‌گیری از همان توزیع دست‌نخورده‌ی مدل؛ حالت حریصانه همان دمای صفر یا argmax است.

کجای دوره آموزش داده می‌شود

در درس سرهم‌بندی مدل GPT سه وضعیت دمایی در حلقه‌ی تولید متن توضیح داده شده‌اند، و در آزمایشگاه دما این دماها روی لاجیت‌های ثابت جاروب شده‌اند.