تیمی مدلها را در یک پایپلاین (Pipeline) چندمرحلهای آموزش داده و همراستا میکند و در نهایت نتیجه را به بخش سرویسدهی میفرستد. پلتفرم ارزیابیای طراحی کنید که تصمیم میگیرد آیا یک دستسازه (Artifact) آمادهی انتشار است یا نه: این پلتفرم چه چیزهایی را میخواند، گیت چیست، کدام دو گیت جلوی بیشترین فجایع را میگیرند، در مواجهه با گیتی که رد شده چه رفتاری دارد، و شخص ثالث چطور میتواند یک تصمیم را بازپخش (Replay) کند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
پلتفرم مانیفستی (Manifest) را میخواند که اجرای مدل را بهطور کامل توصیف میکند؛ یعنی شامل سید (Seed)، نسخهی کد، و هش ورودی و خروجیِ تکتک مراحل است. پلتفرم سپس گیتهای عددی را ارزیابی میکند که پیش از آغاز اجرا تعیین شدهاند. یک گیت رگرسیون عملکرد مدل جدید را روی بنچمارکهای اصلی در سطح مدل قبلی نگه میدارد و باگهای آموزشی را به دام میاندازد؛ گیت بودجهی واگرایی کولبک-لایبلر (KL budget) میزان دریفت (Drift) سیاست همراستاشده از مدل مرجع را محدود میکند و مانع از همراستاسازی بیشازحد (Overcooking) مدل میشود. اگر گیتی رد شود، اجرا برای بررسی یک بازبینِ مشخص متوقف میماند؛ تأیید دستی (Override) او در مانیفست ثبت میشود و هر کسی میتواند این تصمیم را بازپخش کند، چون گزارش ارزیابی آدرسدهی با محتوا (Content-addressed) است و هش دادههای ارزیابی هم بخشی از آن محسوب میشود.
پاسخ کامل
پلتفرم چه چیزهایی را میخواند
مانیفست تنها فایلی است که اجرای پایپلاین را آنقدر دقیق توصیف میکند که بتوان آن را بازپخش کرد: نسخهی پایپلاین، سید، نسخهی کد، و برای هر مرحله یک دستورالعمل (Recipe)، هش ورودی، هش خروجی، زمان واقعیِ سپریشده (Wall clock) و هزینه. هش خروجیِ یک مرحله، هش ورودیِ مرحلهی بعد است؛ بنابراین اگر دستسازهای خراب یا جابهجا شده باشد، پایپلاین حتی قبل از شروع ارزیابی متوقف میشود. دستسازهها نوعدار (Typed) هستند: یک گزارش ارزیابی شامل نمرات بنچمارک، تفاوتهای بازنگریِ (Diff) مربوط به رگرسیون و هش دادههای ارزیابی است؛ بنابراین هیچوقت با یک چکپوینت (Checkpoint) اشتباه گرفته نمیشود یا به مدل نادرستی نسبت داده نخواهد شد.
گیتهای کنترلی
هر گیت یک آستانهی (Threshold) عددی است که پیش از آغاز آموزش مشخص میشود؛ مثلاً نمرهی بنچمارک اصلی حداقل به اندازهی خط مبنا (Baseline) بهعلاوهی 0.5، بنچمارک کدنویسی حداقل خط مبنا بهعلاوهی 1.0، بنچمارک صداقت بدون هیچ افتی، نرخ امتناع مدل (Refusal) در گیت ایمنی حداکثر 0.05، واگرایی KL از مدل مرجع حداکثر 25.0، و هزینهی کل حداکثر 50000 باشد. هیچ گیتِ سلیقهای مثل «به نظر خوب میرسد» یا تأییدیههای ذهنی و چشمی وجود ندارد. اگر همهی گیتها پاس شوند، دستسازه قابل انتشار علامت میخورد؛ اگر حتی یکی رد شود، فرآیند اجرا متوقف میماند.
دو گیتی که بیشترین اهمیت را دارند
- رگرسیون: مدل جدید روی مجموعهی دادهی اصلی باید حداقل به خوبی مدل قبلی باشد. این گیت باگهای آموزش، ترکیب نامناسب دادهها و توکنایزرهای خراب را به دام میاندازد.
- بودجهی KL: سیاستِ همراستاشده نباید بیشتر از مقداری مشخص از مدل مرجع خود فاصله بگیرد. این گیت جلوی همراستاسازی بیشازحدی را میگیرد که رفتار مدل را محدود و تکبعدی میکند.
هر پایپلاینِ محیط عملیاتی (Production) هر دوی این گیتها را دارد.
نرخ آلودگی
گیتی که هش دادههای ارزیابی را از طریق تطابق دقیق (Exact Match) یا همپوشانی n-gramهای طولانی با شاردهای (Shard) آموزشی مقایسه میکند و در صورت عبور همپوشانی از درصدی ناچیز خطا میدهد، ضامنِ واقعی بودن بهبود نمرات بنچمارک است. تمرینِ این مبحث در درس پایپلاین، این نسبت را با تطابق 13-gram روی 0.1% تنظیم میکند.
توقفها، تأییدهای دستی و بازپخش
توقف فرآیند اجرا یک نقطهی تصمیمگیری است، نه شکست فنی. یک بازبینِ مشخص یا بازگشت به عقب (Rollback) را تأیید میکند یا مجوز دستی برای ادامه میدهد؛ این تأیید دستی به همراه نام او مستقیماً در مانیفست ثبت میشود. بازپخش تصمیمها شدنی است؛ چون مانیفست، گزارش ارزیابیِ آدرسدهیشده با محتوا و هش دادههای ارزیابی دقیقاً همان ورودیهای اولیه را مشخص میکنند. همتیمی شما در قارهای دیگر میتواند گیت را با همان هشها اجرا کند و حتماً به همان حکم ارزیابی (Verdict) برسد. بازتولیدپذیر بودن به معنای قطعی بودن (Deterministic) نیست: وزنها ممکن است در حد خطاهای جزئیِ گرد کردن بین اجراهای مختلف فرق داشته باشند؛ بنابراین بازپخش بهجای بررسی بیتبهبیتِ تنسورها (Tensor)، هشها و معیارهای اصلی را چک میکند.
محل استقرار پلتفرم
گیت ارزیابی (Eval Gate) بعد از مرحلهی ارزیابی و بعد از کوانتیزهسازی (Quantization) اجرا میشود؛ چرا که وزنهای کوانتیزهشده هم باید از پسِ همان آستانههای مدلِ اصلی بربیایند. این سیستم سه دستور اصلی دارد: plan و run و gate؛ دستور plan هیچ هزینهای ندارد و قبل از صرف کمترین توان پردازشی، نبودِ آستانهها یا نامعتبر بودن هشها را پیدا میکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا آستانهها باید حتماً پیش از اجرا نوشته شوند؟ پاسخ مورد انتظار: آستانهای که بعد از دیدن نمرات تعیین شود دستکاری میشود تا مدل قبول شود؛ گیت فقط زمانی واقعاً گیت است که امکان رد شدن در آن وجود داشته باشد.
- سطح 3: اعمال تغییر در مجموعهی دادهی ارزیابی چه چیزی را باطل میکند؟ پاسخ مورد انتظار: فقط تصمیم انتشار را؛ هش دادههای ارزیابی تغییر میکند، گزارش از نو محاسبه میشود، اما دستسازههای آموزشی معتبر باقی میمانند.
- سطح 4: مدل کوانتیزهشده از همهی گیتها عبور میکند، جز نرخ امتناع مدل در ارزیابی ایمنی که اندکی بالا رفته است. چه مدلی را منتشر میکنید؟ پاسخ مورد انتظار: هیچچیز، مگر با یک تأیید دستیِ ثبتشده؛ گیت برای همان دستسازهای وجود دارد که قرار است سرویسدهی شود، و در دستورالعمل این درس ارزیابیهای ایمنی روی سطحی از کوانتیزهسازی با دقت (Precision) بالاتر انجام میشوند که تغییرات جزئی در آنها اهمیت دارد.
- سطح 4: پلتفرم چطور جلوی رسیدن مدلی را میگیرد که از مرحلهی اشتباهی آموزش دیده است؟ پاسخ مورد انتظار: با دستسازههای نوعدار و امضای مشخص برای هر مرحله؛ بنابراین چکپوینتی که با ترجیحات تنظیم شده (Preference-tuned) نمیتواند وارد مسیر یادگیری با نظارت (Supervised) شود و این عدم تطابق در همان مرحلهی plan به خطا میخورد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «از یک بازبین بخواهیم نمونهها را ببیند و تأیید کند.» بررسیهای چشمی و سلیقهای گیت نیستند؛ گیت عددی است که میتواند رد شود، و نقش بازبین فقط به ثبت تأیید دستی خلاصه میشود.
- «آموزش را دوباره اجرا کنیم تا نتیجه تأیید شود.» پیشآموزش هفتهها طول میکشد؛ بازپخش بهجای این کار، هشها و معیارها را با مانیفست میسنجد.
- «اگر بنچمارک درستی داشته باشیم، یک عدد بنچمارک کافی است.» مجموعهی رگرسیون و بودجهی KL هرکدام خطاهای متفاوتی را میگیرند، و گیت ایمنی (Safety Gate) جلوی دستهی سومی از مشکلات را سد میکند.
کجای دوره آموزش داده میشود
در درس پایپلاین کامل LLM مانیفست، دستسازههای نوعدار، گیت ارزیابی و قواعد مربوط به تأیید دستی و بازپخش بهطور کامل تعریف شدهاند.