مخلوطی از متخصصان (MoE) و معماری‌های هیبریدی

def route(hidden, W_router, top_k, bias):
    E = len(W_router)
    scores = [sum(h * w for h, w in zip(hidden, W_router[e])) for e in range(E)]
    biased = [s + b for s, b in zip(scores, bias)]  # بایاس انتخاب را تغییر می‌دهد
    top_idx = sorted(range(E), key=lambda i: -biased[i])[:top_k]
    chosen = [scores[i] for i in top_idx]           # امتیازهای اصلی، بدون بایاس
    m = max(chosen)
    exps = [math.exp(c - m) for c in chosen]
    s = sum(exps)
    gates = [e / s for e in exps]                   # مجموع گیت‌های سافت‌مکس برابر با 1 است
    return top_idx, gates

hidden_size: 7168            # بعد امبدینگ
intermediate_size: 18432     # ‏MLP چگال، در 3 لایه‌ی اول
moe_intermediate_size: 2048  # ‏MLP برای هر متخصص
num_hidden_layers: 61        # ‏3 لایه چگال + 58 لایه MoE
first_k_dense_layers: 3      # ‏MLP چگال برای پایداری
num_attention_heads: 128     # هدهای پرس‌وجو
kv_lora_rank: 512            # متغیر نهفته‌ی MLA به‌ازای هر توکن در هر لایه
num_experts: 256             # متخصصان مسیریابی‌شده در هر بلوک
num_experts_per_tok: 8       # مسیریابی top-8
shared_experts: 1            # پایه‌ی چگالِ همیشه‌روشن
mtp_module: 1                # پیش‌بینی توکن t+2، با 14B پارامتر