سؤال مصاحبه

شمارش پنجره‌های حاصل از یک جریان توکن

Count the windows a token stream gives you

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

کد دیتاست زیر را از درس بخوانید. در اینجا ids کل پیکره متنی (corpus) در قالب یک تنسور (tensor) از شناسه‌های توکن (token) است.

@staticmethod
def count_windows(num_ids, context_length, stride):
    usable = num_ids - (context_length + 1)
    if usable < 0:
        return 0
    return 1 + usable // stride

def __getitem__(self, index):
    start = index * self.stride
    end = start + self.context_length + 1
    window = self.ids[start:end]
    return window[:-1].clone(), window[1:].clone()

چرا هر پنجره به یک شناسه بیشتر از طول زمینه (context length) نیاز دارد، نصف کردن استراید (stride) چه تغییری در تعداد پنجره‌ها ایجاد می‌کند، و دیتا لودر چطور ترتیبی کاملاً یکسان را در دو اجرای مختلف تضمین می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تارگت در واقع همان ورودی است که یک واحد به چپ شیفت خورده است؛ بنابراین، نمونه‌ای با T شناسه ورودی به T به‌علاوه‌ی 1 شناسه نیاز دارد. تعداد پنجره‌ها برابر است با 1 به‌علاوه‌ی جزء صحیحِ (N منهای T منهای 1) تقسیم بر استراید، یا اگر طول جریان خیلی کوتاه باشد، صفر. نصف کردن استراید از T به T دوم، تعداد نمونه‌ها را تقریباً دو برابر می‌کند و نیمی از هر پنجره با پنجره‌ی مجاورش مشترک می‌شود؛ استرایدِ 1 هم تعداد پنجره‌ها را تقریباً T برابر می‌کند. دیتا لودر سید (seed) یک مولد را با جمع «سید پایه» و «اندیس ایپاک» مقداردهی می‌کند؛ با این کار، ترتیب برزدن در هر بار اجرای مجدد یکسان می‌ماند و هم‌زمان، هر ایپاک برزدن جدیدی دریافت می‌کند.

پاسخ کامل

قرارداد شکل تنسورها

یک مدل زبانی علی (causal language model) شناسه‌های ورودی با ابعاد (B, T) و شناسه‌های تارگت با ابعاد (B, T) را می‌گیرد؛ به‌طوری که تارگت در موقعیت t، همان ورودی در موقعیت t به‌علاوه‌ی 1 است. یک برش (slice) با طول T به‌علاوه‌ی 1 شناسه، هر دو تنسور را از همان فضای حافظه تأمین می‌کند و احتمال خطای شیفت دادن را به صفر می‌رساند: window[:-1] و window[1:].

شمارش پنجره‌ها

examples = max(0, 1 + (N - (T + 1)) // S)

اگر پنجره‌ی آخر نتواند T به‌علاوه‌ی 1 شناسه را پر کند، کنار گذاشته می‌شود. پدینگ (padding) آن هم مجاز است، اما ماسک تابع زیان (loss mask) را پیچیده می‌کند؛ بنابراین در این درس کنار گذاشته می‌شود.

استراید در برابر افزونگی

استراید همپوشانی تعداد نمونه‌ها
T بدون همپوشانی تقریباً N بر روی T
T دوم نیمی از هر پنجره تقریباً دو برابر
1 تقریباً تمام پنجره تقریباً T برابر

همپوشانی بیشتر مرزهای پنجره را جابه‌جا می‌کند؛ در نتیجه مدل در هر ایپاک با وظایف (tasks) متنوع‌تری برای پیش‌بینی توکن بعدی روبه‌رو می‌شود، البته به قیمت محاسبات بیشتر در هر ایپاک. بیشتر اجراهای پیش‌آموزش (pretraining) از استرایدی برابر با طول زمینه استفاده می‌کنند، چون حجم پیکره متنی از همان ابتدا بیشتر از چیزی است که بتوان در یک ایپاک پوشش داد.

حافظه

دیتاست تنها یک نسخه از جریان شناسه‌ها را نگه می‌دارد و نقطه‌ی شروع هر پنجره را در لحظه (on the fly) حساب می‌کند؛ بنابراین، مصرف حافظه با افزایش تعداد نمونه‌های حاصل از استراید بالا نمی‌رود.

قطعیت در بازتولید

generator = torch.Generator()
generator.manual_seed(base_seed + epoch)

یک سید پایه‌ی یکسان ترتیبی کاملاً مشابه را در تک‌تک ایپاک‌های تمام اجراها ایجاد می‌کند، و اندیس ایپاک به هر ایپاک یک برزدن جدید می‌دهد. بدون این سازوکار، دو اجرا که فقط در یک ابرپارامتر تفاوت دارند، از نظر ترتیب داده‌ها هم فرق خواهند داشت و منحنی‌های تابع زیان (loss) به دلایلی کاملاً بی‌ارتباط با آن تغییر از هم فاصله می‌گیرند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا به‌جای حذف پنجره‌ی آخر، آن را پدینگ نمی‌کنیم؟ پاسخ مورد انتظار: پدینگ به ماسک تابع زیان نیاز دارد تا موقعیت‌های پدینگ شمرده نشوند؛ اما حذف آن، محاسبه‌ی تابع زیان را ساده نگه می‌دارد.
  • سطح 3: چرا سید را برای هر ایپاک جداگانه تنظیم می‌کنیم و نه فقط یک‌بار در کل اجرا؟ پاسخ مورد انتظار: اگر مولد یک‌بار سید بگیرد و در طول ایپاک‌ها جلو برود هم بازتولیدپذیر است، اما در آن حالت، ترتیب داده‌ها در ایپاک k به بازپخش (replay) تمام ایپاک‌های قبلی وابسته می‌شود؛ اما مقداردهی سید با جمع «سید پایه» و «اندیس ایپاک»، ترتیب ایپاک k را مستقیماً تولید می‌کند که برای ادامه‌ی یک اجرای متوقف‌شده (resumed run) ضروری است.
  • سطح 3: استرایدِ 1 چه هزینه و چه مزیتی دارد؟ پاسخ مورد انتظار: تقریباً T برابر بار محاسباتی بیشتر در هر ایپاک و افزونگی بسیار بالا، در ازای بیشترین تنوع ممکن در مرزهای پنجره.
  • سطح 4: اگر جریان شناسه‌ها را بعد از پنجره‌بندی به دو بخش آموزش و اعتبارسنجی تقسیم کنید، چه مشکلی پیش می‌آید؟ پاسخ مورد انتظار: پنجره‌های دارای همپوشانی روی مرز تفکیک قرار می‌گیرند و متن بخش اعتبارسنجی وارد داده‌های آموزش می‌شود؛ باید ابتدا کل جریان را تقسیم کنید، سپس هر بخش را جداگانه به پنجره‌ها بشکنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تعداد نمونه‌ها برابر با N تقسیم بر T است.» این فرمول، شناسه‌ی اضافه در هر پنجره و مقدار استراید را نادیده می‌گیرد؛ فرمول دقیق هر دوی این‌ها را دارد.
  • «یک سید ثابت باعث می‌شود تمام ایپاک‌ها ترتیبی یکسان ببینند.» اندیس ایپاک به سید اضافه می‌شود؛ بنابراین هر ایپاک برزدن جدیدی دریافت می‌کند و در عین حال کل اجرا بازتولیدپذیر می‌ماند.
  • «تارگت همان پنجره‌ی ورودی است.» تارگت همان پنجره است که یک واحد به چپ شیفت خورده؛ شناسه‌های یکسان هر دو تنسور را تنها از طریق یک برش تأمین می‌کنند.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی دیتاست پنجره‌ی لغزان (sliding-window) فرمول شمارش، برش با یک واحد شیفت و لودر مجهز به سید آموزش داده شده‌اند.