اولین پیمایش (Sweep) شما روی کارت L4 نشان میدهد که گرافهای CUDA هیچ تأثیری ندارند: در حالت تککاربره، میانه زمان به ازای هر توکن با گراف و بدون گراف برابر با 103.4 میلیثانیه است و در آن سقف، نتایج سه سید (Seed) بین 10.0 تا 14.9 توکن بر ثانیه پراکنده است؛ یعنی اختلافی به اندازه نصف مقدار میانه. پیش از اینکه گزارش کنید گرافها بیاثرند، چه چیزی را بررسی میکنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
قبل از اینکه هر کدام از این اعداد را باور کنید، فرکانس ساعت (Clock) و دمای GPU را در طول اجرا بررسی کنید. در مستندات راهنما، حین همین پیمایش، دمای کارت L4 روی 87 درجه سانتیگراد رفته، کُندسازی حرارتی نرمافزاری (Software thermal slowdown) فعال شده و فرکانس ساعت SM به 360 مگاهرتز از سقف 2040 مگاهرتز افت کرده بود؛ بنابراین سرورِ تحت تست مقصر نبوده است. تکرار همین پیمایش پس از خنکسازی کارت تا 72 درجه سانتیگراد و ثبت فرکانس، زمان به ازای هر توکن را برای یک کاربر به 60.16 میلیثانیه (در مقایسه با 103.38 در حالت داغ) و در سقف 32 کاربر به 270.11 توکن بر ثانیه (در مقایسه با 194.16) رساند: یعنی پیمایش در حالت داغ، با همان دستور و روی همان کارت، تا 28 درصد نرخ پردازش کمتری گزارش کرده بود.
پاسخ کامل
تلهمتری چه چیزی را نشان داد
یک استعلام از درایور در حین پیمایش، این سطر را نشان داد: دمای 87 درجه سانتیگراد، مصرف توان 58.36 وات از سقف 72.00 وات، فرکانس ساعت SM برابر با 360 مگاهرتز از حداکثر 2040 مگاهرتز، بیت فعال کُندسازی حرارتی نرمافزاری و بهرهوری (Utilization) برابر با 100 درصد. کارت L4 یک کارت 72 واتی با خنککنندهی غیرفعال (Passive) است و کارت دوم در همان شاسی همزمان بار کاریِ دیگری را اجرا میکرد. این پیمایش کارایی یک GPU داغ را اندازه گرفته بود.
اصلاح روش ارزیابی
اسکریپت پیمایش حالا وضعیت درایور را هر ثانیه یک بار در فایلی کنار هر اجرا نمونهبرداری میکند. قبل از هر اجرا، اسکریپت حداکثر 900 ثانیه منتظر میماند تا دمای GPU از حد مشخصی پایینتر بیاید؛ این حد بهطور پیشفرض 65 درجه سانتیگراد و برای این شاسی 72 درجه سانتیگراد است. در خلاصه نتایج، برای هر نقطه داده سه شاخص اضافه میشود: میانه فرکانس ساعت SM، بالاترین دما و سهم نمونههایی که بیت کُندسازی حرارتی در آنها فعال بوده است. اگر اجرایی زیر یک کف فرکانسی مشخص باشد، کنار گذاشته میشود و حداکثر تا سه بار تکرار خواهد شد.
اجراهای خنکشده هم با حداکثر سرعت کار نمیکنند. میانه فرکانس SM آنها بین 1080 تا 1515 مگاهرتز از 2040 مگاهرتز بود و در سقفهای 1 و 64، بدترین سید همچنان در 41 تا 49 درصد نمونههای خود بیت افت حرارتی داشت. خنکسازی بدترین خطا را برطرف میکند و فرکانس ثبتشده نشان میدهد چقدر خطا باقی مانده است.
بار اضافی کارت را داغ میکند
در نرخ ورودی ثابت، هرچه درخواستهای بیشتری به کارت L4 تحویل داده شد، تعداد درخواستهای کمتری را تکمیل کرد: در نرخ ورودی 4 درخواست بر ثانیه 2.01، در 8 ورودی 1.91 و در 16 ورودی 1.62 درخواست بر ثانیه. میانه فرکانس ساعت SM از 1320 مگاهرتز در نرخ 4 به 465 مگاهرتز در نرخ 16 کاهش یافت و در نرخ 16، بیت افت حرارتی در 70 درصد نمونهها فعال شده بود. روی کارتی با خنککنندهی غیرفعال، بار اضافی علاوه بر تاخیر به نرخ پردازش هم آسیب میزند. تراشه GB10 نیز در نرخ 16 درخواست بر ثانیه رفتار مشابهی داشت: دمای 89 درجه سانتیگراد و حضور 7.3 درصدیِ کُندسازی حرارتی در نمونهها، در حالی که فرکانس آن تا نرخ 4 درخواست بر ثانیه روی 2496 مگاهرتز مانده بود.
قفل فرکانس یا ثبت آن
برای مقایسه دو پیکربندی، فرکانس ساعت SM را با ابزار درایور قفل کنید (در اجراهای این راهنما روی 900 مگاهرتز) و پس از پایان، قفل را بردارید. قفل کردن فقط بالاترین فرکانس را تعیین میکند و مانع از گلوگاه شدن فرکانس (Throttling) به زیر آن نمیشود: در یکی از اجراهای بدون گمانهزنی (Speculation)، فرکانس با وجود قفلِ 900 مگاهرتز تا 210 مگاهرتز افت کرد و کنار گذاشته شد. دو اجرا را فقط در فرکانس یکسان مقایسه کنید. وقتی فرکانسها کمی با هم تفاوت دارند، به جای زمانهای مطلق، نسبت بین اجراها را بسنجید و فرکانس را در گزارش قید کنید.
موضع این راهنما روشن است: بنچمارکی که فرکانس ساعت و دمای هر اجرا را ثبت نکرده باشد، شواهد به حساب نمیآید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: کدام دو ستون را به هر سطر از نتایج اضافه میکنید؟ پاسخ مورد انتظار: میانه فرکانس ساعت SM و بالاترین دما یا سهم نمونههایی با پرچم افت حرارتی؛ تا خواننده بتواند اجراهای داغ را کنار بگذارد.
- سطح 3: فرکانس را روی 900 مگاهرتز قفل کردید، اما یک اجرا همچنان 210 مگاهرتز را گزارش میدهد. چرا؟ پاسخ مورد انتظار: قفل کردن، بالاترین فرکانس را تعیین میکند و نمیتواند جلوی افت حرارتی به زیر آن را بگیرد؛ آن اجرا را کنار بگذارید، پس از خنکسازی تکرارش کنید و تنها اجراهایی را با هم مقایسه کنید که فرکانس یکسانی دارند.
- سطح 3: در شرایط بار بیش از حدِ حلقه-باز (Open-loop)، با ارسال درخواستهای بیشتر، کارت درخواستهای کمتری را تکمیل کرد. چرا؟ پاسخ مورد انتظار: صف طولانیتر شد و کارت داغ شد، در نتیجه فرکانس از 1320 به 465 مگاهرتز افت کرد و در نرخ 16 درخواست بر ثانیه 70 درصد نمونهها کُندسازی حرارتی را نشان دادند؛ در کارتهای با خنککننده غیرفعال، بار اضافی هم تاخیر و هم نرخ پردازش را خراب میکند.
- سطح 4: شاسی شما نمیتواند کارت را به زیر 72 درجه سانتیگراد برساند. چطور دو پیکربندی مختلف را مقایسه میکنید؟ پاسخ مورد انتظار: هر دو را در یک نشست (Session) واحد اجرا کنید و بین آنها جابهجا شوید، فرکانس هر اجرا را ثبت کنید، اجراهای زیر کف فرکانسی را کنار بگذارید و تکرار کنید، به جای زمانهای مطلق نسبت بین اجراهای با فرکانس مشابه را بخوانید، و مقدار فرکانس را کنار هر عدد بنویسید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «بهرهوری GPU روی 100 درصد است، پس با حداکثر سرعت کار میکند.» بهرهوری فقط نشان میدهد که GPU مشغول بوده، نه اینکه با چه سرعتی؛ همان کارت در فرکانس 360 مگاهرتز از 2040 مگاهرتز و با پرچم فعال افت حرارتی، باز هم بهرهوری 100 درصد را نشان میداد.
- «پراکندگی نتایج بین سیدها به اندازه نصف میانه، نویز طبیعی است.» در یک کارت خنک، این بازهها در محدوده حدود 10 درصد میانه قرار میگرفتند؛ پراکندگی به اندازه نصف میانه نشانه تغییر فرکانس است، پس دادههای تلهمتری را بررسی کنید.
- «قفل کردن فرکانس، همه اجراها را قابل مقایسه میکند.» این کار سقف فرکانس را میبندد و نمیتواند جلوی افت فرکانس ناشی از حرارت را بگیرد؛ یک اجرا با وجود قفل تا 210 مگاهرتز افت کرد و باید کنار گذاشته میشد.
- «فرکانس را یک بار در ابتدای پیمایش ثبت کنید.» با رشد صف در طول یک پیمایش حلقه-باز، فرکانس از 1320 به 465 مگاهرتز افت کرد؛ در طول هر اجرا فرکانس را هر ثانیه یک بار نمونهبرداری کنید و میانه آن را به ازای هر اجرا گزارش دهید.
کجای دوره آموزش داده میشود
بخش بنچمارک SGLang پیمایش دچار افت فرکانس و دادههای تلهمتری را نشان میدهد، و افزایش سرعت رمزگشایی با EAGLE3 قاعده قفل کردن فرکانس را ارائه میدهد.