فاین‌تیونینگ با LoRA

class LoRALayer(nn.Module):
    def __init__(self, in_features, out_features, rank=8, alpha=16):
        super().__init__()
        self.scaling = alpha / rank                             # alpha / r
        self.A = nn.Parameter(torch.randn(in_features, rank) * (1 / math.sqrt(rank)))
        self.B = nn.Parameter(torch.zeros(rank, out_features))  # BA از صفر شروع می‌شود
    def forward(self, x):
        return (x @ self.A @ self.B) * self.scaling             # به‌روزرسانی کم‌رتبه با مقیاس

class LinearWithLoRA(nn.Module):
    # __init__ wraps linear and builds self.lora
        for param in self.linear.parameters():
            param.requires_grad = False                         # انجماد W
    def forward(self, x):
        return self.linear(x) + self.lora(x)                    # Wx + scaled BAx

bnb_config = BitsAndBytesConfig(load_in_4bit=True,  # پایه‌ی 4-بیتی
    bnb_4bit_quant_type="nf4",                      # سطوح NF4
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True)                 # کوانتیزه‌سازی مقیاس‌ها نیز
model = AutoModelForCausalLM.from_pretrained("<model>",
    quantization_config=bnb_config, device_map="auto")
lora_config = LoraConfig(task_type=TaskType.CAUSAL_LM, r=16,
    lora_alpha=32, lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"])            # query و value
model = get_peft_model(model, lora_config)          # A و B را اضافه می‌کند
model.save_pretrained("./lora-adapter")             # تطبیق‌دهنده‌ی 10 تا 100 مگابایتی