یک پایپلاین آموزش دوازدهمرحلهای از توکنایزر تا سرور استنتاج امتداد دارد و مرحلهی پیشآموزش آن هفتهها زمان و میلیونها دلار هزینه میبرد. پیش از آغاز اجرا، باید مشخص کنید در صورت شکست هر مرحله چه اتفاقی میافتد. این طرح را تدوین کنید، توضیح دهید که هماهنگکننده چطور مراحل نیازمند اجرای مجدد را محاسبه میکند، و مشخص کنید عبارت «بازتولید اجرا» چه مواردی را میتواند تضمین کند و از عهدهی تضمین چه مواردی برنمیآید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مراحل را بر اساس هزینهی اجرای مجدد مرتب کنید: توکنایزر، ارزیابی، کوانتیزهسازی و سرور ارزاناند و ظرف چند ساعت دوباره اجرا میشوند؛ تنظیم دقیق نظارتشده (SFT) و همسوسازی (Alignment) چند روز زمان میبرند، پس چکپوینت پایه حفظ میشود و تنها همین مراحل دوباره اجرا میشوند؛ و پیشآموزش به هفتهها زمان و بودجهای میلیونی نیاز دارد، در نتیجه طرح بازگشت، استفاده از آخرین چکپوینت سالم به همراه بازنگری مراحل پاییندستی است. مجموعهی نیازمند اجرای مجدد از گراف وابستگی دارای تایپ و هششده به دست میآید: مرحلهی ناموفق و تمام فرزندانش را باطل کنید. یک بازپخش، هشهای یکسان برای کد، دستورالعمل (Recipe) و دادههای منبع و همچنین معیارهای کلیدیِ یکسان را تضمین میکند، نه وزنهای بیتبهبیت یکسان یا هشهای خروجی یکسان را.
پاسخ کامل
سه دستهی هزینهای
| دسته | مراحل | طرح در زمان شکست |
|---|---|---|
| ارزان، چند ساعت | توکنایزر، ارزیابی، کوانتیزهسازی، سرور استنتاج | اجرای مجدد |
| متوسط، چند روز | SFT، DPO، پالایش مبتنی بر شیوهنامهی بنیادین | حفظ مدل پایه، اجرای مجدد همسوسازی |
| گران، هفتهها و میلیونها دلار | پیشآموزش | آخرین چکپوینت سالم به همراه مراحل پاییندستی بازنگریشده |
نوشتن این طرح پیش از شروع اجرا مانع از آن میشود که ساعت 4 صبح با تیمی خسته دست به تصمیمگیریهای فیالبداهه بزنید.
نحوهی محاسبهی مجموعهی نیازمند اجرای مجدد
هر مرحله ورودیها و خروجیهای تایپشده دارد و هش خروجی یک مرحله، هش ورودی مرحلهی بعدی است. بروز شکست در مرحلهی SFT، خود آن و تمام فرزندانش را باطل میکند: مدل پاداش، سیاست DPO، سیاست پالایششده، گزارش ارزیابی، وزنهای کوانتیزهشده و سرور، یعنی مراحل 6 تا 12. شکست در کوانتیزهسازی فقط خود کوانتیزهسازی و سرور را باطل میکند. هماهنگکننده گراف را از روی مانیفست میخواند؛ بنابراین مجموعهی بازگشت به عقب محاسبه میشود، نه اینکه بهصورت دستی و حفظی تعیین گردد. تغییر در توکنایزر همهچیز را در بخش پاییندستی باطل میکند؛ تغییر در مجموعهی ارزیابی فقط بر تصمیمِ نهایی برای انتشار (Ship decision) اثر میگذارد و آن را باطل میسازد.
چرا هشها این فرایند را ایمن میکنند
دستسازهها در یک فضای ذخیرهسازی تغییرناپذیر نگهداری میشوند که با هش محتوا آدرسدهی میشود، نه با نامهایی مثل latest. اجرای مجددِ جزئی بررسی میکند که آیا هر خروجیِ مورد انتظار از قبل با هش درست وجود دارد یا خیر، و اگر وجود داشته باشد، آن مرحله را نادیده میگیرد و رد میشود. به این ترتیب، یک بازگشت به عقب جزئی بخش عمدهای از زمان واقعی (Wall clock) را ذخیره میکند: مراحل 1 تا 8 در حافظهی کش باقی میمانند، در حالی که مراحل 9 تا 12 دوباره اجرا میشوند. تمرین درس پایپلاین دقیقاً همین صرفهجویی زمانی را اندازه میگیرد.
مفهوم بازتولید چیست
بازتولیدپذیر: مانیفست، کد و زیرساخت یکسان به چکپوینتی با معیارهای پاییندستی معادل منجر شوند. قطعی: خروجی بیتبهبیت یکسان. ترتیب کاهش توزیعشده (Distributed reduce order)، عدم قطعیت کرنل و گرد کردن در محاسبات دقت ترکیبی باعث میشوند آموزشهای مدرن بازتولیدپذیر باشند اما قطعی نباشند؛ وزنها بین اجراهای مختلف در سطحی حدود 1e-5 تفاوت دارند، در حالی که معیارها تغییری نمیکنند. راهکار این است که هش ورودی، هش خروجی و معیارهای کلیدی هر مرحله را ثبت کنید. اگر هشهای کد، دستورالعمل و دادههای منبع و همچنین معیارهای کلیدی مطابقت داشته باشند، اجرا بازتولید شده است، حتی اگر دستسازهی وزنها و هشهای ورودی پس از آن مقادیر جدیدی بگیرند؛ بنابراین مقایسهی تفاوتها در سطح بیتی ابزار اشتباهی برای اشکالزدایی است. قاعدهی درس مبنی بر تطابق کامل هش ورودی، هش خروجی و معیارها، برای مراحلی با خروجی قطعی مانند توکنایزر و دادههای ارزیابی بهطور کامل صدق میکند؛ اما در مورد دستسازهی وزنها که نمیتواند بیتبهبیت یکسان باشد، بارِ این اعتبارسنجی بر دوش معیارهاست.
بودجه به عنوان بخشی از طرح
در برآورد هزینهی پیش از اجرا، توان پردازشی مورد نیاز آموزش با فرمولِ «6 ضربدر تعداد پارامترها ضربدر تعداد توکنها» محاسبه میشود و حاصل بر اوج نرخ پردازش و نرخ بهرهوری تقسیم شده و در نرخ اجارهی سرور ضرب میگردد. اگر این برآورد از سقف هزینهی مجاز بیشتر شود، پایپلاین از اجرا خودداری میکند. پس از هر مرحله، بودجهی باقیمانده دوباره بازبینی میشود؛ در نتیجه اضافههزینه در یک مرحله سقف مجاز مرحلهی بعد را تغییر میدهد، بهجای آنکه وقتی کل بودجه تمام شد غافلگیر شوید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا دستسازهها را با رشتهی نسخه (Version string) نامگذاری نمیکنیم؟ پاسخ مورد انتظار: دو دستسازه میتوانند نام یکسان اما محتوای متفاوت داشته باشند؛ شناسه همان هش است و نامی مثل latest یک تله است.
- سطح 4: مدل پاداش و سیاست DPO هر دو به چکپوینت SFT وابستهاند. کدام مرحله میتواند موازی اجرا شود و کدام باید منتظر بماند؟ پاسخ مورد انتظار: این دو میتوانند پس از SFT همزمان اجرا شوند؛ سیاست پالایششده باید منتظر هر دو بماند و هش ورودی آن باید ترکیبی قطعی از خروجیهای هر دو باشد.
- سطح 4: پس از پایان همسوسازی، مشخص میشود یکی از چکپوینتها خراب است. کدام طرح اعمال میشود؟ پاسخ مورد انتظار: دستهی گرانقیمت؛ آخرین چکپوینت سالم پیشآموزش را بردارید و مراحل با هزینهی متوسط و ارزان را دوباره اجرا کنید، هرگز کل پیشآموزش را مجدداً اجرا نکنید.
- سطح 4: همتیمی شما گزارش میدهد که بازپخش او وزنهای متفاوتی تولید کرده است. آیا اجرا خراب است؟ پاسخ مورد انتظار: صرفاً با این موضوع، خیر؛ هشهای کد، دستورالعمل و دادههای منبع و نیز معیارهای کلیدی را مقایسه کنید؛ تنها عدم تطابق در این موارد به معنای بازتولید نشدن اجراست.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «برای احتیاط، همهچیز را از ابتدا دوباره اجرا کنید.» مرحلهی گران هفتهها زمان میبرد؛ گراف تایپشده دقیقاً مشخص میکند کدام مراحل نامعتبرند.
- «فایل آخرین چکپوینت را نگه دارید و در هر مرحله روی آن بازنویسی کنید.» نامهای تغییرپذیر را نمیتوان اعتبارسنجی یا بازپخش کرد؛ آدرسدهی با محتواست که مجموعهی بازگشت به عقب را قابل اعتماد میسازد.
- «اگر وزنها بیتبهبیت یکسان نباشند، پایپلاین بازتولیدپذیر نیست.» آموزش توزیعشده قطعی نیست؛ بازتولیدپذیری بر اساس هشهای کد، دستورالعمل و دادههای منبع و همچنین معیارها تعریف میشود.
کجای دوره آموزش داده میشود
درس پایپلاین کامل LLM سه دستهی هزینهای، قاعدهی فرزندان، فضای ذخیرهسازی با آدرسدهی بر اساس محتوا و تفاوت میان بازتولیدپذیر و قطعی را آموزش میدهد.