یادگیری تقویتی چندایجنت و انتقال از شبیه‌ساز به واقعیت (Sim-to-Real)

a1 = epsilon_greedy(Q1, s, rng, epsilon)                    # انتخاب مستقل توسط هر ایجنت
a2 = epsilon_greedy(Q2, s, rng, epsilon)
s_next, r, done = step(s, (a1, a2))                         # گام مشترک، پاداش اشتراکی
target1 = r + gamma * max(Q1[s_next].values())
Q1[s][a1] += alpha * (target1 - Q1[s][a1])                  # جدول Q اختصاصی
reward = 10.0 if done else -1.0                             # +10 در صورت رسیدن هر دو
joint_actions = [(a, b) for a in ACTIONS for b in ACTIONS]  # 16 جفت
ja = max(joint_actions, key=lambda a: Q[s][a]) # one greedy joint pick

slip_ep = rng.uniform(slip_low, slip_high)   # شبیه‌ساز جدید در هر اپیزود
s_next, r, done = step(s, a, slip_ep, rng)   # لغزش در جهت عمود جابه‌جا می‌کند
Q_fixed = train_fixed(0.0, rng=rng)          # سیاست A، بدون DR
Q_dr = train_dr(0.0, 0.3, rng=rng)           # سیاست B، همراه با DR
for slip in (0.0, 0.1, 0.2, 0.3, 0.5, 0.7):  # مقادیر 0.5 و 0.7 خارج از توزیع (OOD) هستند
    r_fixed = evaluate(Q_fixed, slip)
    r_dr = evaluate(Q_dr, slip)