بخش 3.2 · دستورالعمل‌ها

آموزش با فیلتر DAPO

Train with the DAPO filter

فهرست مطالب
  1. فعال‌سازی
  2. شمارش گروه‌های حذف‌شده
  3. سنجش هزینه‌ی بیش‌نمونه‌برداری
  4. مقایسه‌ی پاداش
  5. تصمیم‌گیری

فیلتر DAPO گروه‌هایی را که همه‌ی پاسخ‌هایشان امتیاز یکسانی گرفته‌اند حذف می‌کند؛ به این ترتیب، هر گام فقط روی گروه‌هایی آموزش می‌بیند که نکته‌ای یاد می‌دهند.

در یک گام عادی GRPO، حدود نیمی از گروه‌های ما وضعیتی داشتند که یا همه‌ی پاسخ‌هایشان درست بود یا همه‌ی پاسخ‌ها غلط. این گروه‌ها هیچ سیگنال یادگیری مفیدی تولید نمی‌کنند. فیلتر این گروه‌ها را کنار می‌گذارد و آن‌قدر پرامپت‌های بیشتری از موتور پردازش تقاضا می‌کند تا گام به تعداد کافی گروه آموزنده برسد.

وقتی این بخش را تمام کنید، می‌توانید فیلتر واریانس صفر (zero-variance filter) را روشن کنید و ببینید چند گروه را حذف می‌کند. علاوه بر این، می‌توانید هزینه‌ی محاسباتی پرامپت‌های اضافی را هم اندازه بگیرید.

نتیجه‌ی آزمایش ما: فیلتر در هر گام بین 16 تا 48 گروه را حذف کرد که در بیشتر آن‌ها، همه‌ی پاسخ‌ها درست بودند. زمان مسیر پیش‌روی شبیه‌سازی‌شده (rollout) بین 1.5 تا 2.8 برابر شد. در 12 گام روی یک seed مشخص، پاداشِ ثبت‌شده قبل از اعمال فیلتر بالاتر از اجرای بدون فیلتر خوانده شد؛ ما این اختلاف را ناشی از سوگیری سنجه می‌دانیم، نه اثر یادگیری.

فعال‌سازی

با استفاده از MILES_EXTRA_ARGS، دو فلگ زیر را به اجرای بخش 1.1 اضافه کنید:

-e MILES_EXTRA_ARGS="--dynamic-sampling-filter-path miles.rollout.filter_hub.common_filters.apply_reward_nonzero_std_filter --over-sampling-batch-size 48"

اجراهای آزمایشگاهی ما از مسیر قدیمی‌تری برای همین فیلتر استفاده می‌کردند که Miles آن را منسوخ (deprecated) نشانه‌گذاری کرده است. در نسخه‌ای که ما اجرا کردیم، آن مسیر قدیمی دقیقاً همین فیلتر ارائه‌شده در اینجا را فراخوانی می‌کند؛ بنابراین نتایج یکسان‌اند.

دسته‌ی بیش‌نمونه‌برداری (Over-sampling batch): تعداد پرامپت‌هایی است که مسیر پیش‌روی شبیه‌سازی‌شده در هر نوبت به موتور ارسال می‌کند. این مقدار باید حداقل برابر با --rollout-batch-size باشد.

مسیر پیش‌روی شبیه‌سازی‌شده ابتدا 48 پرامپت می‌فرستد. با پایان کار هر گروه، فیلتر آن را نگه می‌دارد یا حذف می‌کند. هرگاه مجموع گروه‌های نگه‌داشته‌شده و گروه‌های در حال انتظار به 32 نرسد، مسیر پیش‌روی شبیه‌سازی‌شده 48 پرامپت دیگر ارسال می‌کند. وقتی 32 گروه نگه‌داشته شدند، بقیه‌ی درخواست‌ها را متوقف می‌کند. پاسخ‌های مربوط به درخواست‌های متوقف‌شده استفاده نمی‌شوند.

شمارش گروه‌های حذف‌شده

مسیر پیش‌روی شبیه‌سازی‌شده در خط perf N خود، سه عدد برای فیلتر ثبت می‌کند:

نام لاگ چه چیزی را می‌شمارد
rollout/dynamic_filter/drop_zero_std_0 گروه‌های حذف‌شده‌ای که تمام پاسخ‌هایشان غلط بود
rollout/dynamic_filter/drop_zero_std_1 گروه‌های حذف‌شده‌ای که تمام پاسخ‌هایشان درست بود
rollout/raw_reward_unfiltered میانگین پاداش تمام پاسخ‌های تمام‌شده، پیش از اعمال فیلتر

بدون فیلتر، همین گروه‌ها درون دسته (batch) باقی می‌مانند. مقادیر rollout/zero_std/count_0 و rollout/zero_std/count_1 را بخوانید تا ببینید چه تعداد از آن‌ها وجود دارند.

ما این تعداد را در طول 12 گام با seed 1، با فیلتر و بدون فیلتر اندازه گرفتیم:

اجرا گروه‌هایی با یک پاداش برای تمام پاسخ‌ها از میان آن‌ها، همه‌ی پاسخ‌ها درست
بدون فیلتر، آموزش‌داده‌شده روی 191 از 384 142
فیلتر DAPO، حذف‌شده 399، در کنار 384 مورد نگه‌داشته‌شده 306

بدون فیلتر، نیمی از گروه‌هایی که ترینر استفاده می‌کرد چیزی یاد نمی‌دادند. با فیلتر، در هر گام بین 16 تا 48 گروه حذف شدند، با میانه‌ی 36. بیشتر گروه‌های حذف‌شده پرامپت‌های ساده‌ای بودند که مدل از قبل هم به تمام پاسخ‌های آن‌ها درست جواب می‌داد.

سنجش هزینه‌ی بیش‌نمونه‌برداری

هر مسیر پیش‌روی شبیه‌سازی‌شده در اجرایِ با فیلتر، با توقف ناشی از محافظ حرارتی (heat-guard) همپوشانی داشت؛ بنابراین این اجرا هیچ گام پاک و بدون وقفه‌ای ندارد. برای مقایسه‌ی زمان‌های مسیر، مدت زمان توقف را از هر مسیر پیش‌روی شبیه‌سازی‌شده کسر کردیم. اجرای بدون فیلتر همان اجرای 12 گامی ما با seed 1 است. با کسر زمان توقف، میانه‌ی زمان آن به 58.0 ثانیه رسید که به عدد 59.1 ثانیه‌ی مربوط به 6 گام پاکِ آن نزدیک است.

فیلتر یک یا دو دسته‌ی اضافی از پرامپت‌ها هزینه برمی‌داردگامی که 16 گروه یا کمتر را حذف کرد به یک دسته‌ی 48 پرامپتی نیاز داشت، و گامی که بیشتر حذف کرد به دو دسته نیاز پیدا کرد.
فیلتر یک یا دو دسته‌ی اضافی از پرامپت‌ها هزینه برمی‌دارد ثانیه‌های مسیر پیش‌روی شبیه‌سازی‌شده در هر گام بدون احتساب زمان مکث محافظ حرارتی، برای 12 گام با seed برابر 1. بدون فیلتر میانه 58.0 ثانیه بود. با فیلتر و 48 پرامپت در هر دسته، گام‌هایی که 16 گروه یا کمتر را حذف کردند به یک دسته نیاز داشتند و میانه‌ی 88.7 ثانیه را ثبت کردند. گام‌هایی که موارد بیشتری را حذف کردند به دسته‌ی دوم نیاز داشته و 164.4 ثانیه طول کشیدند. 0 100 200 0 3 6 9 11 گام ثانیه‌های مسیر پیش‌روی، منهای زمان مکث یک دسته یک دسته بدون فیلتر فیلتر DAPO، دسته‌های 48 پرامپتی میانه 58 ثانیه بدون فیلتر، 89 ثانیه با یک دسته، 164 ثانیه با دو دسته.
ثانیه‌های مسیر پیش‌روی شبیه‌سازی‌شده در هر گام با کسر زمان مکث، 12 گام با seed برابر 1.

در سه گام، 16 گروه یا کمتر حذف شدند؛ بنابراین یک دسته‌ی 48تایی از پرامپت‌ها کافی بود. میانه‌ی زمان مسیر پیش‌روی شبیه‌سازی‌شده در آن‌ها 88.7 ثانیه شد، یعنی 1.5 برابرِ 58.0 ثانیه‌ی بدون فیلتر. نُه گام دیگر به دسته‌ی دوم نیاز داشتند و میانه‌ی زمانشان 164.4 ثانیه شد، یعنی 2.8 برابرِ آن.

یک دسته‌ی 48تایی پرامپت، 1.5 برابرِ 32 پرامپت کار می‌برد که با نسبت اول همخوانی دارد. دسته‌ی دوم باز هم کار بیشتری اضافه می‌کند و گام باید منتظر کندترین گروه‌هایی بماند که نگه می‌دارد. مجموع زمان 12 گام، با احتساب توقف‌های حرارتی در هر دو حالت، با فیلتر 113 دقیقه و بدون فیلتر 60 دقیقه شد.

مقایسه‌ی پاداش

فیلتر معنای rollout/raw_reward را تغییر می‌دهد، چون گروه‌های حذف‌شده در آن نیستند. برای مقایسه‌ی دو اجرا، مقدار rollout/raw_reward_unfiltered را برای اجرای با فیلتر بخوانید.

پاداش قبل از فیلتر بالاتر خوانده شدطی 12 گام روی یک seed، پاداش محاسبه‌شده قبل از فیلتر در 8 گام از 12 گام بالاتر بود.
پاداش قبل از فیلتر بالاتر خوانده شد میانگین پاداش در هر گام روی تمام پاسخ‌هایی که موتور به پایان رسانده، برای 12 گام با seed برابر 1. بدون فیلتر: به‌طور میانگین 0.657. با فیلتر، محاسبه‌شده قبل از حذف هر گروه: 0.686. 0.5 0.6 0.7 0.8 0 3 6 9 11 گام میانگین پاداش همه پاسخ‌های کامل‌شده بدون فیلتر فیلتر DAPO، قبل از اعمال فیلتر میانگین 12 گام: 0.657 بدون فیلتر، 0.686 با آن. یک seed.
میانگین پاداش در هر گام روی تمامی پاسخ‌های پایان‌یافته، 12 گام با seed برابر 1.

میانگین پاداش در طول 12 گام با فیلتر 0.686 و بدون فیلتر 0.657 بود. پنج اجرای خط مبنای (baseline) ما میانگین‌های 12 گامی بین 0.638 تا 0.660 به دست دادند؛ بنابراین 0.686 بالاتر از همه‌ی آن‌ها است. میانگین چهار گام اول هم بالاتر بود: 0.672 در برابر 0.625، آن هم پیش از آنکه فیلتر بتواند تغییر چندانی در مدل ایجاد کند.

فکر می‌کنیم دلیل این مسئله در چیزی است که این عدد می‌شمارد. پاداشِ قبل از فیلتر فقط گروه‌هایی را به حساب می‌آورد که قبل از توقف مسیر پیش‌روی شبیه‌سازی‌شده تمام شده باشند. درخواست‌های متوقف‌شده کندترین موارد با طولانی‌ترین پاسخ‌ها هستند. همان‌طور که بخش 4.2 نشان می‌دهد، پاسخی که در سقف مجاز طول متن قطع شود معمولاً امتیاز 0 می‌گیرد. بنابراین این عدد می‌تواند به سمت بالا متمایل شود و ما این میانگین بالاتر را سوگیری سنجه می‌دانیم، نه اثر یادگیری.

این نتیجه برای یک seed و 12 گام است. اجرای با فیلتر تمام 12 گام را تمام کرد. سپس سقف زمانی صفِ اجرای ما، کانتینر را در زمان خاموش شدنش متوقف کرد. برای مشاهده‌ی تأثیر واقعی روی پاداش، گام‌های بیشتری بردارید، از یک seed دوم استفاده کنید و نتایج را با پراکندگی اجراهای خط مبنای خود بسنجید.

تصمیم‌گیری

تنها زمانی از فیلتر استفاده کنید که گروه‌های زیادی برای همه‌ی پاسخ‌هایشان امتیاز یکسانی می‌گیرند، و زمانی که می‌توانید هزینه‌ی مسیر پیش‌روی شبیه‌سازی‌شده‌ی طولانی‌تر را بپردازید. اندازه‌ی دسته‌ی بیش‌نمونه‌برداری را بر اساس نرخ حذف گروه‌های خود تنظیم کنید. با حذف نیمی از گروه‌ها، یک دسته‌ی 48تایی پرامپت برای 32 گروه نگه‌داشته‌شده برای بیشتر گام‌های ما بسیار کوچک بود.

منابع: Miles filter hub، common_filters و dynamic_sampling_filters در main 08752a12؛ فایل capture/gpu/summary/miles-gb10-lab.json (بخش‌های runs.e2b-dapo-filter، runs.e6a-base، runs.plain، runs.plain-48، runs.plain-48-s2 و runs.plain-48-s3)؛ capture/gpu/summarize_miles.py؛ حلقه‌ی مسیر پیش‌روی شبیه‌سازی‌شده‌ی Miles و سنجه‌های فیلتر در main 08752a12.

ترجمه‌ی فارسی Train with the DAPO filter از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما