سؤال مصاحبه

با یک دستور: از داده‌ی خام تا سرو مدل فاین‌تیون‌شده

One command from raw data to a served tuned model

  • سطح ۳: ارشد
  • طراحی
  • ۲۵ دقیقه

تیمی می‌خواهد یک مدل متن‌باز در رده‌ی 8B را روی دامنه‌ی کاری خود تطبیق دهد و آن را با هزینه‌ی مشخص و قابل‌سنجش به‌ازای هر یک میلیون توکن سرو کند. پایپ‌لاین (pipeline) را طوری طراحی کنید که با یک دستور به‌صورت سرتاسری (end-to-end) اجرا شود: مراحل، سخت‌افزار لازم برای هر مرحله، پالایش داده‌ها، ابطال‌سنجی‌های (ablation) موردنیاز، معیارهای اندازه‌گیری در مرحله‌ی سرو و مواردی که باید همراه نسخه‌ی نهایی ارائه شوند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پنج مرحله که هرکدام فایل کانفیگ مشخصی در کنترل نسخه (version control) دارند: آماده‌سازی داده با حذف موارد تکراری (deduplication)، فیلتر کیفیت، پاکسازی داده‌های شخصی و بررسی آلودگی داده‌ها (contamination check) نسبت به مجموعه‌های ارزیابی؛ فاین‌تیونینگ نظارت‌شده (SFT) به‌مدت 2 تا 3 اپوک روی 8xH100 با برنامه‌ی زمان‌بندی کسینوسی (cosine schedule) و توالی‌های بسته‌بندی‌شده (packed sequences)؛ یک اپوک تنظیم ترجیحات روی 4xH100 با پایش و جستجوی مقادیر بتا؛ کوانتیزه‌سازی (quantization) به سه فرمت مختلف؛ و در نهایت سرو مدل با هدهای پیش‌نویس برای حدس و گمانه‌زنی (speculative draft heads) و مقیاس‌پذیری خودکار بر اساس زمان انتظار در صف (queue wait). خروجی نهایی شامل یک جدول آزمون مقایسه‌ای (ablation table) از مدل پایه، حالت فقط SFT، ترکیب SFT با DPO و ترکیب SFT با GRPO روی بنچ‌مارک‌های وظیفه، آمارهای سرو در اندازه‌های دسته‌ی 1، 8 و 32 به‌همراه نرخ پذیرش (acceptance rate) هد پیش‌نویس و هزینه به‌ازای هر یک میلیون توکن، نرخ قبولی ارزیابی‌های ایمنی، و یک کارت مدل (model card) حاوی seedها، کانفیگ‌ها و هش کامیت‌ها (commit hashes) خواهد بود.

پاسخ کامل

مراحل و سخت‌افزار

مرحله شرح کار سخت‌افزار در پروژه‌ی پایانی
آماده‌سازی داده حذف موارد تکراری، فیلتر کیفیت، پاکسازی داده‌های شخصی، تقسیم داده‌ها با یک seed مشخص CPU
بررسی آلودگی داده‌ها هش‌گذاری شباهت تقریبی برای تک‌تک بخش‌های اعتبارسنجی در برابر مجموعه‌های آزمون عمومی؛ رد داده‌ها در صورت وجود همپوشانی CPU
فاین‌تیونینگ نظارت‌شده (SFT) بهینه‌ساز شاردشده (sharded optimizer)، کرنل‌های اتنشن سریع، توالی‌های بسته‌بندی‌شده، 2 تا 3 اپوک 8xH100
تنظیم ترجیحات یک اپوک DPO روی جفت‌داده‌ها، یا GRPO همراه با پاداش قابل‌راستی‌آزمایی؛ جستجو روی مقادیر بتا 4xH100
کوانتیزه‌سازی سه فرمت مختلف برای انعطاف در استقرار؛ ثبت حجم و نرخ پردازش (throughput) یک GPU
سرو مدل هدهای پیش‌نویس برای حدس و گمانه‌زنی، مقیاس‌پذیری خودکار بر اساس زمان انتظار در صف GPUهای سرو (Serving GPUs)
ارزیابی و کارت مدل ماتریس بنچ‌مارک، ارزیابی ایمنی، کارت مدل CPU به‌همراه GPU ارزیابی

در اجرای نمونه‌ی این پروژه‌ی پایانی، مرحله‌ی داده 280k نمونه از 300k نمونه را نگه می‌دارد، مرحله‌ی SFT حدود 6 ساعت و 12 دقیقه طول می‌کشد و تابع زیان (loss) اعتبارسنجی را از 1.42 به 1.03 می‌رساند، مرحله‌ی DPO طی 1 ساعت و 40 دقیقه با بتای 0.08 اجرا می‌شود، وزن‌های کوانتیزه‌شده 4.6 گیگابایت فضا می‌گیرند و بخش سرو مدل، نرخ پذیرش 0.74 را برای هد پیش‌نویس با تاخیر صدک 99ام (p99) برابر با 126 میلی‌ثانیه در دسته‌ی 8تایی نشان می‌دهد.

پاکسازی داده یک گیت است، نه یک مرحله‌ی اختیاری

بررسی آلودگی داده‌ها پیش از آموزش اجرا می‌شود و اگر همپوشانی پیدا کند، پایپ‌لاین را متوقف می‌سازد (fail می‌کند). در تمرین این پروژه‌ی پایانی، بخش کوچکی از پاسخ‌های آزمون به داده‌های آموزش نشت داده می‌شود و رشد غیرواقعی بنچ‌مارک به چشم می‌آید؛ این بررسی دقیقاً همان چیزی است که اختلاف نتایج ارزیابی را باورپذیر می‌کند. در درس پایپ‌لاین سازوکار لازم اضافه شده است: یک مانیفست (manifest) حاوی هش ورودی و خروجی برای هر مرحله، تا مرحله‌ی SFT از پذیرش داده‌هایی که هش آن‌ها به تایید مرحله‌ی بررسی آلودگی نرسیده است خودداری کند.

خروجی اصلی، آزمون‌های ابطال‌سنجی هستند

سوالی که این پایپ‌لاین به آن پاسخ می‌دهد این نیست که آیا مدل بهتر شده یا نه، بلکه این است که کدام مرحله این بهبود را رقم زده است. ماتریس ارزیابی را روی مدل پایه، حالت فقط SFT، ترکیب SFT با DPO و ترکیب SFT با GRPO اجرا کنید. در این نمونه، بعد از اجرای کامل، بهبودی به میزان 3.2+ در یک بنچ‌مارک و 0.41+ در بنچ‌مارک دیگر گزارش شده است. بدون آزمون ابطال‌سنجی، ممکن است افت عملکرد ناشی از مرحله‌ی تنظیم ترجیحات در پسِ پیشرفت حاصل از SFT پنهان بماند.

معیارهای اندازه‌گیری در مرحله‌ی سرو

تعداد توکن در ثانیه برای اندازه‌های دسته‌ی 1، 8 و 32، نرخ پذیرش هدهای پیش‌نویس، و هزینه‌ی هر یک میلیون توکن در مقایسه با سرویس‌های میزبانی‌شده‌ی ابری با کیفیت مشابه. سنجش نرخ پذیرش باید حتماً روی داده‌های همان دامنه‌ی تخصصی انجام شود نه داده‌های چت عمومی؛ زیرا هدهای پیش‌نویس برای همین دامنه آموزش دیده‌اند و سقف تاخیر (latency budget) به آن وابسته است.

محتویات نسخه‌ی نهایی

یک کارت مدل شامل منابع داده و مجوزها، کانفیگ‌های آموزش، ماتریس ارزیابی، نرخ قبولی ایمنی، بخشی برای بازتولیدپذیری (reproducibility) با ذکر seedها و commit hashها، و تغییرات ناشی از کوانتیزه‌سازی. اجرای مجدد پایپ‌لاین با همان seedها با یک دستور امکان‌پذیر است؛ در شیوه‌نامه‌ی نمره‌دهی (rubric)، بازتولیدپذیری و پاکسازی داده‌ها درست به‌اندازه‌ی میزان بهبود در ارزیابی وزن دارند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا مرحله‌ی تنظیم ترجیحات به GPUهای کمتری نسبت به SFT نیاز دارد؟ پاسخ موردانتظار: این مرحله فقط یک اپوک روی مجموعه‌ی بسیار کوچک‌تری از جفت‌داده‌ها اجرا می‌شود و در این پروژه‌ی پایانی، سخت‌افزاری معادل نصف مرحله‌ی SFT برای آن در نظر گرفته شده است.
  • سطح 3: اگر ارزیابی ایمنی روی مدل کوانتیزه‌شده رد شود، کدام مرحله باید دوباره اجرا شود؟ پاسخ موردانتظار: فقط کوانتیزه‌سازی و سرو؛ سازوکار بازگشت به عقب (rollback) در درس پایپ‌لاین، مرحله‌ی شکست‌خورده و مراحل وابسته به آن را نامعتبر می‌کند.
  • سطح 4: اگر نرخ پذیرش روی ترافیک دامنه‌ی تخصصی بسیار کمتر از عدد به‌دست‌آمده از داده‌های چت عمومی باشد، چه تاثیری روی طراحی می‌گذارد؟ پاسخ موردانتظار: سقف تاخیر بر اساس عدد اشتباهی تنظیم شده است؛ باید هدهای پیش‌نویس را دوباره روی داده‌های دامنه آموزش داد یا ظرفیت سرو را بدون در نظر گرفتن سود ناشی از حدس و گمانه‌زنی تعیین کرد.
  • سطح 4: اگر یک مدل کوچک‌تر همراه با تطبیق‌دهنده‌ی رتبه‌پایین (low-rank adapter) بتواند همان کیفیت را با یک‌دهم حافظه ارائه دهد، پایپ‌لاین چه تغییری می‌کند؟ پاسخ موردانتظار: مرحله‌ی SFT به آموزش تطبیق‌دهنده تغییر می‌کند اما داده‌ها و گیت‌های ارزیابی (eval gates) دست‌نخورده باقی می‌مانند؛ مراحل کوانتیزه‌سازی و سرو نیز وزن‌های ادغام‌شده (merged) را بدون تغییر دریافت می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بررسی آلودگی داده‌ها را رد کنید؛ چون داده‌ها درون‌سازمانی هستند.» داده‌های درون‌سازمانی هم مدام متن‌های عمومی را کپی می‌کنند و نشت حتی یک مجموعه‌ی آزمون، کل جدول ارزیابی را بی‌اعتبار می‌سازد.
  • «فقط مدل نهایی را با مدل پایه مقایسه و کار را تمام کنید.» بدون آزمون ابطال‌سنجی برای تک‌تک مراحل، مشخص نمی‌شود که تنظیم ترجیحات به نفع مدل بوده یا به ضرر آن.
  • «عملکرد سرو را فقط در دسته‌ی یک‌تایی اندازه بگیرید.» نرخ پردازش و هزینه‌ی هر یک میلیون توکن از دیکود دسته‌ای به دست می‌آید؛ دسته‌ی یک‌تایی فقط تاخیر را می‌سنجد، نه توجیه اقتصادی را.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایپ‌لاین سرتاسری فاین‌تیونینگ پنج مرحله، سخت‌افزار، اجرای نمونه و شیوه‌نامه‌ی نمره‌دهی را ارائه می‌دهد و درس ساخت پایپ‌لاین کامل LLM مانیفست، زنجیره‌ی هش و مجموعه‌ی بازگشت به عقب را پوشش می‌دهد.