فیلتر DAPO گروههایی را که همهی پاسخهایشان امتیاز یکسانی گرفتهاند حذف میکند؛ به این ترتیب، هر گام فقط روی گروههایی آموزش میبیند که نکتهای یاد میدهند.
در یک گام عادی GRPO، حدود نیمی از گروههای ما وضعیتی داشتند که یا همهی پاسخهایشان درست بود یا همهی پاسخها غلط. این گروهها هیچ سیگنال یادگیری مفیدی تولید نمیکنند. فیلتر این گروهها را کنار میگذارد و آنقدر پرامپتهای بیشتری از موتور پردازش تقاضا میکند تا گام به تعداد کافی گروه آموزنده برسد.
وقتی این بخش را تمام کنید، میتوانید فیلتر واریانس صفر (zero-variance filter) را روشن کنید و ببینید چند گروه را حذف میکند. علاوه بر این، میتوانید هزینهی محاسباتی پرامپتهای اضافی را هم اندازه بگیرید.
نتیجهی آزمایش ما: فیلتر در هر گام بین 16 تا 48 گروه را حذف کرد که در بیشتر آنها، همهی پاسخها درست بودند. زمان مسیر پیشروی شبیهسازیشده (rollout) بین 1.5 تا 2.8 برابر شد. در 12 گام روی یک seed مشخص، پاداشِ ثبتشده قبل از اعمال فیلتر بالاتر از اجرای بدون فیلتر خوانده شد؛ ما این اختلاف را ناشی از سوگیری سنجه میدانیم، نه اثر یادگیری.
فعالسازی
با استفاده از MILES_EXTRA_ARGS، دو فلگ زیر را به اجرای بخش 1.1 اضافه کنید:
-e MILES_EXTRA_ARGS="--dynamic-sampling-filter-path miles.rollout.filter_hub.common_filters.apply_reward_nonzero_std_filter --over-sampling-batch-size 48"
اجراهای آزمایشگاهی ما از مسیر قدیمیتری برای همین فیلتر استفاده میکردند که Miles آن را منسوخ (deprecated) نشانهگذاری کرده است. در نسخهای که ما اجرا کردیم، آن مسیر قدیمی دقیقاً همین فیلتر ارائهشده در اینجا را فراخوانی میکند؛ بنابراین نتایج یکساناند.
دستهی بیشنمونهبرداری (Over-sampling batch): تعداد پرامپتهایی است که مسیر پیشروی شبیهسازیشده در هر نوبت به موتور ارسال میکند. این مقدار باید حداقل برابر با --rollout-batch-size باشد.
مسیر پیشروی شبیهسازیشده ابتدا 48 پرامپت میفرستد. با پایان کار هر گروه، فیلتر آن را نگه میدارد یا حذف میکند. هرگاه مجموع گروههای نگهداشتهشده و گروههای در حال انتظار به 32 نرسد، مسیر پیشروی شبیهسازیشده 48 پرامپت دیگر ارسال میکند. وقتی 32 گروه نگهداشته شدند، بقیهی درخواستها را متوقف میکند. پاسخهای مربوط به درخواستهای متوقفشده استفاده نمیشوند.
شمارش گروههای حذفشده
مسیر پیشروی شبیهسازیشده در خط perf N خود، سه عدد برای فیلتر ثبت میکند:
| نام لاگ | چه چیزی را میشمارد |
|---|---|
rollout/dynamic_filter/drop_zero_std_0 |
گروههای حذفشدهای که تمام پاسخهایشان غلط بود |
rollout/dynamic_filter/drop_zero_std_1 |
گروههای حذفشدهای که تمام پاسخهایشان درست بود |
rollout/raw_reward_unfiltered |
میانگین پاداش تمام پاسخهای تمامشده، پیش از اعمال فیلتر |
بدون فیلتر، همین گروهها درون دسته (batch) باقی میمانند. مقادیر rollout/zero_std/count_0 و rollout/zero_std/count_1 را بخوانید تا ببینید چه تعداد از آنها وجود دارند.
ما این تعداد را در طول 12 گام با seed 1، با فیلتر و بدون فیلتر اندازه گرفتیم:
| اجرا | گروههایی با یک پاداش برای تمام پاسخها | از میان آنها، همهی پاسخها درست |
|---|---|---|
| بدون فیلتر، آموزشدادهشده روی | 191 از 384 | 142 |
| فیلتر DAPO، حذفشده | 399، در کنار 384 مورد نگهداشتهشده | 306 |
بدون فیلتر، نیمی از گروههایی که ترینر استفاده میکرد چیزی یاد نمیدادند. با فیلتر، در هر گام بین 16 تا 48 گروه حذف شدند، با میانهی 36. بیشتر گروههای حذفشده پرامپتهای سادهای بودند که مدل از قبل هم به تمام پاسخهای آنها درست جواب میداد.
سنجش هزینهی بیشنمونهبرداری
هر مسیر پیشروی شبیهسازیشده در اجرایِ با فیلتر، با توقف ناشی از محافظ حرارتی (heat-guard) همپوشانی داشت؛ بنابراین این اجرا هیچ گام پاک و بدون وقفهای ندارد. برای مقایسهی زمانهای مسیر، مدت زمان توقف را از هر مسیر پیشروی شبیهسازیشده کسر کردیم. اجرای بدون فیلتر همان اجرای 12 گامی ما با seed 1 است. با کسر زمان توقف، میانهی زمان آن به 58.0 ثانیه رسید که به عدد 59.1 ثانیهی مربوط به 6 گام پاکِ آن نزدیک است.
در سه گام، 16 گروه یا کمتر حذف شدند؛ بنابراین یک دستهی 48تایی از پرامپتها کافی بود. میانهی زمان مسیر پیشروی شبیهسازیشده در آنها 88.7 ثانیه شد، یعنی 1.5 برابرِ 58.0 ثانیهی بدون فیلتر. نُه گام دیگر به دستهی دوم نیاز داشتند و میانهی زمانشان 164.4 ثانیه شد، یعنی 2.8 برابرِ آن.
یک دستهی 48تایی پرامپت، 1.5 برابرِ 32 پرامپت کار میبرد که با نسبت اول همخوانی دارد. دستهی دوم باز هم کار بیشتری اضافه میکند و گام باید منتظر کندترین گروههایی بماند که نگه میدارد. مجموع زمان 12 گام، با احتساب توقفهای حرارتی در هر دو حالت، با فیلتر 113 دقیقه و بدون فیلتر 60 دقیقه شد.
مقایسهی پاداش
فیلتر معنای rollout/raw_reward را تغییر میدهد، چون گروههای حذفشده در آن نیستند. برای مقایسهی دو اجرا، مقدار rollout/raw_reward_unfiltered را برای اجرای با فیلتر بخوانید.
میانگین پاداش در طول 12 گام با فیلتر 0.686 و بدون فیلتر 0.657 بود. پنج اجرای خط مبنای (baseline) ما میانگینهای 12 گامی بین 0.638 تا 0.660 به دست دادند؛ بنابراین 0.686 بالاتر از همهی آنها است. میانگین چهار گام اول هم بالاتر بود: 0.672 در برابر 0.625، آن هم پیش از آنکه فیلتر بتواند تغییر چندانی در مدل ایجاد کند.
فکر میکنیم دلیل این مسئله در چیزی است که این عدد میشمارد. پاداشِ قبل از فیلتر فقط گروههایی را به حساب میآورد که قبل از توقف مسیر پیشروی شبیهسازیشده تمام شده باشند. درخواستهای متوقفشده کندترین موارد با طولانیترین پاسخها هستند. همانطور که بخش 4.2 نشان میدهد، پاسخی که در سقف مجاز طول متن قطع شود معمولاً امتیاز 0 میگیرد. بنابراین این عدد میتواند به سمت بالا متمایل شود و ما این میانگین بالاتر را سوگیری سنجه میدانیم، نه اثر یادگیری.
این نتیجه برای یک seed و 12 گام است. اجرای با فیلتر تمام 12 گام را تمام کرد. سپس سقف زمانی صفِ اجرای ما، کانتینر را در زمان خاموش شدنش متوقف کرد. برای مشاهدهی تأثیر واقعی روی پاداش، گامهای بیشتری بردارید، از یک seed دوم استفاده کنید و نتایج را با پراکندگی اجراهای خط مبنای خود بسنجید.
تصمیمگیری
تنها زمانی از فیلتر استفاده کنید که گروههای زیادی برای همهی پاسخهایشان امتیاز یکسانی میگیرند، و زمانی که میتوانید هزینهی مسیر پیشروی شبیهسازیشدهی طولانیتر را بپردازید. اندازهی دستهی بیشنمونهبرداری را بر اساس نرخ حذف گروههای خود تنظیم کنید. با حذف نیمی از گروهها، یک دستهی 48تایی پرامپت برای 32 گروه نگهداشتهشده برای بیشتر گامهای ما بسیار کوچک بود.
منابع: Miles filter hub، common_filters و dynamic_sampling_filters در main 08752a12؛ فایل capture/gpu/summary/miles-gb10-lab.json (بخشهای runs.e2b-dapo-filter، runs.e6a-base، runs.plain، runs.plain-48، runs.plain-48-s2 و runs.plain-48-s3)؛ capture/gpu/summarize_miles.py؛ حلقهی مسیر پیشروی شبیهسازیشدهی Miles و سنجههای فیلتر در main 08752a12.