مقایسه‌ی فرمت‌های کوانتیزه‌سازی

def quantize_symmetric(tensor, num_bits=8):
    qmin = -(2 ** (num_bits - 1))                 # -128 در 8 بیت
    qmax = 2 ** (num_bits - 1) - 1                # 127 در 8 بیت
    abs_max = np.max(np.abs(tensor))              # به ازای هر تنسور: یک مقیاس
    if abs_max == 0:
        return np.zeros_like(tensor, dtype=np.int32), 1.0
    scale = abs_max / qmax
    quantized = np.clip(np.round(tensor / scale), qmin, qmax).astype(np.int32)
    return quantized, float(scale)

def dequantize_symmetric(quantized, scale):
    return quantized.astype(np.float64) * scale   # خطا حداکثر مقیاس / 2

zero_point = int(np.round(qmin - t_min / scale))  # آفست نامتقارن

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,                      # پایه‌ی فریز شده در 4-bit
    bnb_4bit_quant_type="nf4",              # سطوح در چندک‌های نرمال
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,         # ثابت‌های مقیاس به fp8
)
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    quantization_config=bnb_config,
    device_map="auto",
)
model = get_peft_model(model, lora_config)  # آموزش تطبیق‌دهنده‌ها در fp16