مرجع R.11

روش‌شناسی بنچ‌مارک

The bench method

فهرست مطالب
  1. ابزارها و ساختار بنچ‌مارک
  2. وظایف و نمونه‌گیری
  3. تنظیمات
  4. در Ollama یک بار اجرای حریصانه کافی است
  5. فواصل اطمینان
  6. زمان
  7. هزینه
  8. بنچ‌مارک دوم و اجراهای چندایجنت
  9. ردیف‌های غیرقابل استفاده

این بنچ‌مارک 99 وظیفه را به همراه بررسی‌کننده‌های وضعیت روی پنج مدل محلی و دو مدل Claude اجرا کرد؛ هر وظیفه یک بار اجرا شد و نتایج با فواصل ویلسون (Wilson intervals) و فهرستی از ردیف‌های نادیده‌گرفته‌شده ثبت شدند.

ابزارها و ساختار بنچ‌مارک

کیت این بنچ‌مارک مجموعه‌ای از فایل‌های Python در پوشه‌ی bench است. این مجموعه فقط مدل‌های واقعی را ارزیابی می‌کند؛ در پاسخ به هیچ ردیفی از مدل‌های ساختگی، سرورهای استاب (کد جایگزین موقت) یا پاسخ‌های از پیش نوشته‌شده استفاده نشده است.

فایل کارکرد
kit/gen_tasks.py ساخت 100 وظیفه بر اساس داده‌های ثابت: کاتالوگی شامل 12 قلم کالا، یک فروشگاه SQLite با 48 مشتری و 240 سفارش، و 26 سند ساختگی
kit/oracle.py اجرای فراخوانی‌های درست ابزار برای هر وظیفه و اطمینان از قبولی همه‌ی وظایف، سپس بررسی این‌که یک ایجنت بدون فراخوانی ابزار در تمام وظایف رد شود
kit/env.py ابزارهای هر دسته، که هر کدام برای ثبت ورودی‌ها، خروجی و زمان اجرا در یک پوشش قرار گرفته‌اند
kit/harnesses.py چهار بستر آزمایشی: حلقه‌ی ساده، create_agent، مدل StateGraph دست‌ساز و create_deep_agent؛ به‌همراه بستر پنجم برای FilesystemBackend
kit/checks.py بررسی‌کننده‌ها و دسته‌بندی‌های شکست
kit/models.py تنظیمات مدل، شمارنده‌ی فراخوانی‌ها و دفتر ثبت هزینه‌ها
kit/run.py، kit/structured.py، kit/toolscale.py سه اجراکننده: مجموعه‌ی وظایف، خروجی ساختاریافته و مقیاس تعداد ابزارها
summarize.py خواندن ردیف‌های خام و تولید فایل summary-mac.json، که منبع تمامی اعداد و نمودارهای بخش‌های بنچ‌مارک است

بررسی‌کننده (Checker): تابعی که قبولی را بر اساس تغییرات ایجادشده توسط ابزارها تعیین می‌کند. این تابع، جستجوهای اجراشده و ورودی‌های آن‌ها، هش پایگاه داده، فایل‌های پوشه‌ی وظیفه و مخزن یادداشت‌ها را بررسی می‌کند. متن نهایی خروجی فقط برای پرسش‌هایی که پاسخ مشخصی دارند خوانده می‌شود، آن هم تنها زمانی که مدل ابزار submit_answer را فراخوانی نکرده باشد.

دسته‌بندی شکست: اولین دلیل منطبق برای رد شدن، بر اساس این اولویت تعیین می‌شود. خطاهای سیستمی رخ‌داده شامل loop_step_limit، parse_error یا harness_error هستند. فراخوانی ابزاری که به صورت متن عادی نوشته شده باشد malformed_output است. فراخوانی یک ابزار ناشناخته یا فراخوانی نکردن یک جستجوی ضروری، wrong_tool محسوب می‌شود.

اگر یک جستجوی ضروری با خطای اجرا مواجه شود، wrong_args ثبت می‌شود. امتناع مدل با برچسب gave_up مشخص می‌شود و هر حالت دیگری به عنوان wrong_final_state ثبت خواهد شد.

وظایف و نمونه‌گیری

مجموعه‌ی آزمون شامل 100 وظیفه در پنج دسته‌ی 20تایی است. در تمام جدول‌ها sql19 کنار گذاشته شده، بنابراین مجموعه 99 وظیفه دارد. آن وظیفه دسته‌بندی کالایی را می‌خواهد که بیشترین تعداد محصول را دارد، در حالی که دو دسته‌بندی هر کدام 5 محصول دارند و پاسخ مورد انتظار تنها یکی از آن‌ها را نام برده بود.

زیرمجموعه‌ی طبقه‌بندی‌شده: 30 وظیفه با شماره‌های 01، 04، 07، 10، 13 و 16 در هر دسته. مدل‌هایی که مجموعه‌ی کامل روی آن‌ها اجرا نشد، این زیرمجموعه را اجرا کردند. وظیفه‌ی sql19 در این فهرست نیست.

اجراکننده مدل‌ها وظایف در هر خانه
مجموعه‌ی وظایف، حلقه‌ی ساده و deep agent Qwen3 4B، Qwen3 8B، Claude Haiku 5.5 99
مجموعه‌ی وظایف، حلقه‌ی ساده و deep agent Claude Sonnet 5.5، gpt-oss 20B، Qwen3 14B، Qwen3 30B-A3B 30
مجموعه‌ی وظایف، create_agent و StateGraph Qwen3 4B، Qwen3 8B 30
مجموعه‌ی وظایف، FilesystemBackend Qwen3 4B، Qwen3 8B، Claude Haiku 5.5 20 وظیفه‌ی کار با فایل
خروجی ساختاریافته Qwen3 4B، Qwen3 8B، Claude Haiku 5.5 39، و 10 مورد برای ProviderStrategy روی Qwen3 4B
مقیاس ابزارها Qwen3 4B و Claude Haiku 5.5 در 4 اندازه، Qwen3 8B در 2 اندازه 10 وظیفه‌ی زنجیره‌ای

تنظیمات

مدل‌های محلی روی Mac با Ollama 0.31.1 با دمای 0، مقدار سید (seed) برابر با 42 و طول زمینه‌ی 16,384 توکن اجرا شدند. سقف توکن‌های خروجی 1,024 و برای gpt-oss 20B و Qwen3 30B-A3B برابر با 4,096 توکن بود. قابلیت تفکر خاموش بود، به‌جز حالت low در gpt-oss 20B و حالت روشن برای Qwen3 30B-A3B. مدل Qwen3 4B با نسخه‌ی ساخت 4b-instruct-2507 در کوانتیزاسیون Q4_K_M اجرا شد.

مدل‌های Claude از طریق API شرکت Anthropic از روی Mac با پکیج langchain-anthropic نسخه 1.7.10 فراخوانی شدند. API مقدار دما را برای این مدل‌ها نپذیرفت، بنابراین کیت مقداری ارسال نکرد و Claude از تنظیمات پیش‌فرض نمونه‌گیری خود استفاده کرد. سقف خروجی 1,024 توکن بود. همه‌ی بسترهای آزمایشی به ازای هر نوبت گفت‌وگو سقفی معادل 10 فراخوانی مدل داشتند که این عدد با انتخاب‌کننده‌ی ابزار به 20 می‌رسید.

نسخه‌ی پکیج‌ها عبارت بود از: langchain نسخه 1.5.0، langchain-core نسخه 1.8.0، langgraph نسخه 1.2.22، deepagents نسخه 0.7.38 و langchain-ollama نسخه 1.1.0.

در Ollama یک بار اجرای حریصانه کافی است

اندازه‌گیری ما نشان داد که اجرای سه‌باره‌ی Qwen3 4B روی زیرمجموعه‌ی 30 وظیفه‌ای با دو بستر آزمایشی مختلف روی Mac، در هر سه اجرا برای تک‌تک وظایف نتیجه‌ی یکسان، توکن‌های یکسان و فراخوانی‌های ابزار کاملاً مشابهی به همراه داشت. با دمای 0 و سید ثابت، Ollama رفتارش را تکرار می‌کند؛ بنابراین اجرای مجدد در حالت حریصانه (Greedy) هیچ اطلاعات جدیدی اضافه نمی‌کند.

همچنین حلقه‌ی ساده را در دمای 0.7 با سیدهای 1، 2 و 3 روی همان 30 وظیفه اندازه‌گیری کردیم. مدل در این حالت به ترتیب در 24، 23 و 23 وظیفه قبول شد و در 5 وظیفه، نتیجه با تغییر سید تغییر کرد. نمودار همه‌ی اجراها را نشان می‌دهد.

سه اجرای حریصانه دقیقاً تکرار می‌شوند، سه اجرای نمونه‌برداری‌شده خیردر دمای 0، سه اجرای Qwen3 4B نتایج کاملاً یکسانی در هر 30 وظیفه دادند، و در دمای 0.7، نتیجه‌ی پنج وظیفه بین seedهای مختلف تغییر کرد.
سه اجرای حریصانه تکرار می‌شوند، سه اجرای نمونه‌برداری‌شده خیر شبکه‌ای از 30 وظیفه‌ی زیرمجموعه برای Qwen3 4B روی Mac. حلقه‌ی ساده و ایجنت عمیق هرکدام سه بار در دمای 0 با seed 42 اجرا شدند و هر اجرا نتیجه‌ی کاملاً یکسانی در تمام وظایف داشت، با همان توکن‌ها و فراخوانی‌های ابزار: 23 و 13 از 30. حلقه‌ی ساده در دمای 0.7 با seedهای 1، 2 و 3 به ترتیب 24، 23 و 23 مورد از 30 وظیفه را پاس کرد و 5 وظیفه نتیجه‌شان بین seedها تغییر کرد: chain07، chain13، chain16، sql16 و files07. QWEN3 4B، 30 وظیفه زیرمجموعه PASS chain sql retrieval files multiturn حلقه ساده، دمای 0، seed 42 حریصانه، اجرای 1 23/30 حریصانه، اجرای 2 23/30 حریصانه، اجرای 3 23/30 ایجنت عمیق، دمای 0، seed 42 حریصانه، اجرای 1 13/30 حریصانه، اجرای 2 13/30 حریصانه، اجرای 3 13/30 حلقه ساده، دمای 0.7 seed 1 24/30 seed 2 23/30 seed 3 23/30 علامت‌های کهربایی: 5 وظیفه‌ای که نتیجه‌شان بین seedها تغییر کرد
هر ستون یک وظیفه از زیرمجموعه و هر سطر یک اجرا است. مربع پررنگ نشان‌دهنده‌ی قبولی و مربع صورتی نشان‌دهنده‌ی رد شدن است. علامت‌های کهربایی وظایفی هستند که نتیجه‌ی آن‌ها بین seedهای مختلف تغییر کرده است. برگرفته از capture/lab/bench/summary-mac.json.

بنابراین، نتیجه‌ی حاصل از جستجوی حریصانه یک نمونه از خروجی مدل به شمار می‌آید. از آنجا که وظایف ثابت هستند و هر کدام یک بار اجرا شده‌اند، بازه‌ی مربوط به هر خانه یک فاصله‌ی ویلسون برای نرخ موفقیت روی این مجموعه است. این بازه نوسان میان اجراهای مکرر را نشان نمی‌دهد و تنها مختص این مجموعه‌ی آزمایشی است. تغییر سید یا دما تنها نتیجه‌ی چند وظیفه‌ی مشخص را جابه‌جا می‌کند و تغییری در نرخ کلی ایجاد نمی‌کند: 23 قبولی در حالت حریصانه در مقایسه با 23 تا 24 قبولی در حالت نمونه‌برداری تصادفی.

فواصل اطمینان

تمام نرخ‌های اعلام‌شده در بخش‌های بنچ‌مارک همراه با فاصله‌ی اطمینان 95٪ ویلسون ارائه شده‌اند. پهنای این بازه به تعداد نمونه‌ها وابسته است:

وظایف 50٪ قبولی 80٪ قبولی 100٪ قبولی
10 0.24 تا 0.76 0.49 تا 0.94 0.72 تا 1.00
30 0.33 تا 0.67 0.63 تا 0.90 0.89 تا 1.00
39 0.34 تا 0.64 0.64 تا 0.89 0.91 تا 1.00
99 0.40 تا 0.59 0.71 تا 0.87 0.96 تا 1.00

دو خانه‌ای که وظایف یکسانی را ارزیابی کرده‌اند جفت‌شده هستند؛ از این رو، بنچ‌مارک تعداد وظایفی را که در آن‌ها توافق وجود دارد نیز می‌شمارد. این معیار در مقایسه با بررسی دو بازه در کنار هم، دید دقیق‌تری می‌دهد.

زمان

کیت زمان هر فراخوانی مدل را از کالبک شروع تا کالبک پایان اندازه می‌گیرد و زمان هر ابزار را درون پوشش آن ثبت می‌کند. زمان فریم‌ورک برابر است با زمان واقعی (Wall time) منهای مجموع این دو مقدار. همچنین شمارنده‌ی فراخوانی‌های کیت را نیز در بر می‌گیرد که در تمام بسترهای آزمایشی یکسان است.

سیستم Mac با کارهای دیگری هم به اشتراک گذاشته شده بود. همه‌ی زمان‌ها را به عنوان حد بالا در نظر بگیرید و مقایسه‌ی زمان‌ها را فقط در محدوده‌ی یک جدول انجام دهید.

هزینه

کیت برای هر فراخوانی Claude یک ردیف در دفتر مالی ثبت می‌کرد که حاوی میزان مصرف گزارش‌شده توسط API و قیمت رسمی در تاریخ 2026-11-14 بود. در صورت رسیدن هزینه‌ها به سقف تعیین‌شده، پیش از فراخوانی متوقف می‌شد. کل بنچ‌مارک 2,589 فراخوانی داشت و 0.93 دلار هزینه برد. اجراهای بعدی که در ادامه می‌آیند جداگانه محاسبه شده‌اند.

دفتر ثبت برای هر فراخوانی، 0 توکن در نوشتن در کش (Cache write) ثبت کرد و قیمت این توکن‌ها را با نرخ پایه‌ی ورودی محاسبه نمود. اگر API برای نوشتن در کش 1.25 برابر فاکتور می‌زد، برآورد دلاری ما پایین‌تر از مقدار واقعی می‌بود. این حد خطا برای یک خانه‌ی حلقه‌ی ساده 12.7٪ است. برای خانه‌ی deep agent این خطا حدود 6٪ است: 4.6٪ روی Haiku، 6.4٪ روی Sonnet و 6.1٪ در مجموع هر دو. در این صورت، نسبت هزینه‌ی deep agent کمتر می‌شد، نه بیشتر.

بنچ‌مارک دوم و اجراهای چندایجنت

دو اجرای بعدی از همان کیت و داده‌های وظیفه‌ی بنچ‌مارک اول استفاده می‌کنند و تنها بستر آزمایشی در آن‌ها تغییر کرده است.

پوشه موارد اجراشده فایل‌ها
bench2/ پروفایل‌های بسترهای آزمایشی A و B، ابزار eval با و بدون پرامپتی که آن را طلب کند، و RubricMiddleware با یک نمره‌دهنده‌ی Qwen3 14B اجرای kit2/run2.py، تولید summary-bench2.json با kit2/summarize2.py، خواندن جدول اسناد در docs-eval-table.json با kit2/docs_table.py
multiagent/ پنج الگو روی Haiku و Qwen3 14B، و Claude Agent SDK در برابر deep agent روی Haiku اجرای kit/run_patterns.py و kit/run_sdk.py، تولید capture/lab/summary/multiagent-mac.json با kit/summarize_patterns.py

ردیف‌های مدل‌های محلی در bench2/ روی یک سرور دوم Ollama 0.31.1 که اختصاصی راه‌اندازی شده بود، با کش مدل مجزا اجرا شدند. در استارت اول آن از کش کلید-مقدار (KV Cache) کوانتیزه‌شده و فلش اتنشن (Flash Attention) استفاده شد. هشت ردیف کنترلی از آن راه‌اندازی اولیه ثبت شد؛ چهار مورد روی Qwen3 4B و چهار مورد روی Qwen3 8B. سپس سرور را با تنظیمات پیش‌فرض بنچ‌مارک اول بازنشانی کردیم و آن هشت ردیف را در مسیر bench2/runs/excluded/ نگه داشتیم. پس از راه‌اندازی مجدد، سه وظیفه‌ی کنترلی دقیقاً همان فراخوانی‌های ابزار و توکن‌های پرامپت بنچ‌مارک اول را بازتولید کردند.

ردیف‌های پروفایل و ارزیابی مدل‌های محلی، همگی به بعد از راه‌اندازی مجدد مربوط هستند. خلاصه نتایج، ردیف‌های حلقه‌ی ساده و deep agent پیش‌فرض را از بنچ‌مارک اول می‌خواند. خانه‌های مربوط به deep agent در Qwen3 14B و gpt-oss 20B، به 12 اجرای قدیمی و 27 اجرای جدید با همان تنظیمات می‌پیوندند.

نمودار تمامی خانه‌های بنچ‌مارک دوم را به همراه فواصل اطمینان نشان می‌دهد.

نرخ قبولی و بازه‌ی اطمینان آن برای هر خانه از بنچ‌مارک دومخانه‌هایی با 99 وظیفه بازه‌های 18 تا 19 درصدی می‌دهند، و خانه‌هایی با 30 وظیفه بازه‌هایی تا 34 درصد دارند.
نرخ قبولی و بازه‌ی اطمینان آن برای هر خانه از بنچ‌مارک دوم نقاط به همراه بازه‌ی اطمینان 95 درصدی ویلسون برای 28 خانه‌ی بنچ‌مارک دوم در 9 گروه: دو آزمایش پروفایل روی Qwen3 4B و Qwen3 8B، ابزار ارزیابی روی چهار مدل، و یک اجرای مبتنی بر شیوه‌نامه‌ی نمره‌دهی. 3 مورد از خانه‌ها کمتر از 30 وظیفه دارند. پهن‌ترین بازه 34 درصد و باریک‌ترین آن 9 درصد است. CELL قبولی از کل N 0% 50% 100% Qwen3 4B، 99 وظیفه حلقه ساده 70/99 ایجنت عمیق 55/99 عمیق، پروفایل B 55/99 Qwen3 4B، زیرمجموعه 30 وظیفه‌ای حلقه ساده 23/30 ایجنت عمیق 13/30 عمیق، پروفایل A 19/30 عمیق، پروفایل B 18/30 Qwen3 8B، 99 وظیفه حلقه ساده 74/99 ایجنت عمیق 58/99 عمیق، پروفایل B 63/99 Qwen3 8B، زیرمجموعه 30 وظیفه‌ای حلقه ساده 18/30 ایجنت عمیق 16/30 عمیق، پروفایل A 16/30 عمیق، پروفایل B 17/30 Qwen3 8B، وظایف chain و sql حلقه ساده 25/39 ایجنت عمیق 28/39 عمیق + ابزار ارزیابی 23/39 Qwen3 14B، وظایف chain و sql حلقه ساده 12/12 ایجنت عمیق 31/39 عمیق + ابزار ارزیابی 29/39 gpt-oss 20B، chain و sql حلقه ساده 12/12 ایجنت عمیق 37/39 عمیق + ابزار ارزیابی 35/39 Claude Haiku 5.5، chain و sql حلقه ساده 39/39 ایجنت عمیق 39/39 عمیق + ابزار ارزیابی 39/39 عمیق + ارزیابی، هدایت‌شده 39/39 Qwen3 8B با نمره‌دهنده Qwen3 14B شیوه‌نامه، وظایف قبلاً ردشده 3/25 خطوط خطا بازه 95٪ ویلسون هستند. ارقام صورتی مربوط به کمتر از 30 وظیفه‌اند. خانه شیوه‌نامه فقط وظایف ردشده در حلقه ساده را دارد، پس خط مبنای آن 0 از 25 است.
هر سطر نشان‌دهنده‌ی یک خانه است. نقطه نشان‌دهنده‌ی نرخ قبولی و خطوط خطا نشان‌دهنده‌ی بازه‌ی اطمینان 95٪ ویلسون هستند. اعداد صورتی خانه‌هایی با کمتر از 30 وظیفه را مشخص می‌کنند. برگرفته از capture/lab/bench2/summary-bench2.json.

مدل Haiku در bench2/ تعداد 370 فراخوانی با هزینه‌ی 0.0695 دلار ثبت کرد که داده‌های آن در bench2/runs/cost-ledger.jsonl موجود است. اجراهای چندایجنت مدل Haiku شامل 1,518 ردیف در دفتر مالی با هزینه‌ی 0.150 دلار است که در multiagent/runs/cost-ledger.jsonl نگهداری می‌شود.

ما همچنین اجرای ارزیابی‌های کتابخانه‌ی deepagents را روی Qwen3 4B آغاز کردیم. پس از 14 آزمون (9 قبولی و 5 مردودی) آن را متوقف کردیم؛ چون هیچ گزارشی ذخیره نکرد، در این راهنما به هیچ بخشی از آن استناد نشده است.

اجرای هدایت‌شده‌ی Qwen3 8B در همان ابتدای کار شکست خورد. اجرای چندایجنت gpt-oss 20B نیز هرگز وظیفه‌ای را آغاز نکرد. خانه‌های مربوط به Qwen3 14B در هر دو ارزیابی، روی Mac به صورت مشترک با سایر پردازش‌ها اجرا شدند. بنابراین، زمان‌های ثبت‌شده برای آن‌ها حد بالا به شمار می‌آیند و هر خانه نمایانگر یک بار اجرای هر وظیفه است.

ردیف‌های غیرقابل استفاده

ردیف‌ها دلیل
وظیفه‌ی sql19 در همه‌ی اجراکننده‌ها پاسخ مورد انتظار یکی از دو دسته‌بندی مساوی بود
runs/excluded/anthropic-smoke-attempt1-400.jsonl اولین آزمون مقدماتی Claude، که مقدار دما را فرستاد و با خطای 400 متوقف شد
runs/excluded/main-30b-a3b-think-off-leaks.jsonl مدل Qwen3 30B-A3B با تفکر خاموش، که فرآیند استدلال را وارد پاسخ کرد و به سقف خروجی رسید
runs/excluded/main-files-before-sandbox-fix.jsonl وظایف کار با فایل پیش از اصلاح شیوه‌ی آدرس‌دهی مسیر پوشه‌ی وظایف در کیت
bench2/runs/excluded/kvq8-profiles.jsonl، bench2/runs/excluded/kvq8-rubric.jsonl ردیف‌های کنترلی از اولین راه‌اندازی سرور دوم که بنچ‌مارک اول را تکرار نکردند
bench2/runs/smoke.jsonl، bench2/runs/verify.jsonl اجراهای ارزیابی اولیه و بازبینی که در جمع‌بندی نهایی خوانده نمی‌شوند
runs/excluded/structured-dev.jsonl، runs/excluded/toolscale-dev.jsonl ردیف‌های ثبت‌شده از اجراهایی که اجراکننده‌ها را آزمایش کردند
ردیف‌های خروجی ساختاریافته‌ی Claude معتبر هستند، اما چون اجراکننده کش پرامپت را اعمال نکرد، هزینه‌ی آن‌ها با قیمت کامل ثبت شده است
قبولی سخت‌گیرانه به عنوان معیار کیفیت استفاده از submit_answer را می‌شمارد، در حالی که مدل‌های کوچک اغلب پاسخ را در متن نوشتند

فایل اصلی تمام ردیف‌های دیگر را نگه می‌دارد. اسکریپت summarize.py وظیفه‌ی sql19 را هنگام خواندن ردیف‌ها حذف می‌کند، و summarize.py --check گزارش خلاصه را دوباره می‌سازد و مقایسه می‌کند.

منابع: capture/lab/bench/summary-mac.json، capture/lab/bench2/summary-bench2.json، capture/lab/bench2/kit2، capture/lab/bench2/runs، capture/lab/bench2/logs، capture/lab/summary/multiagent-mac.json، capture/lab/multiagent، capture/lab/bench/summarize.py، capture/lab/bench/summary-with-sql19.md، capture/lab/bench/runs/main.jsonl، capture/lab/bench/runs/sampling.jsonl، capture/lab/bench/runs/structured.jsonl، capture/lab/bench/runs/toolscale.jsonl، capture/lab/bench/runs/models.jsonl، capture/lab/bench/runs/cost-ledger.jsonl، capture/lab/bench/runs/excluded، capture/lab/bench/data/tasks.jsonl، capture/lab/bench/data/subset30.txt، capture/lab/bench/data/anthropic-prices.json، capture/lab/bench/data/shop.db، capture/lab/bench/kit.

ترجمه‌ی فارسی The bench method از راهنمای LangChain 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما