پایپ‌لاین‌های بینایی ماشین و استقرار روی Edge

model = model.to(device).eval()
with torch.no_grad():
    for _ in range(warmup):                          # 5 در کد، 10 در مستندات
        model(x)
    torch.cuda.synchronize()                         # قبل و بعد، فقط روی cuda
    t0 = time.perf_counter()
    model(x)
    times.append((time.perf_counter() - t0) * 1000)  # میلی‌ثانیه
times.sort()
p50 = times[len(times) // 2]
p95 = times[int(len(times) * 0.95)]                  # صدک‌ها را گزارش کنید، نه میانگین را

import torch.ao.quantization as tq
model.qconfig = tq.get_default_qconfig(backend)                    # backend="x86"
tq.prepare(model, inplace=True)                                    # ناظرها را درج می‌کند
for x, _ in calibration_loader:
    model(x)                                                       # کالیبراسیون با داده‌های واقعی
tq.convert(model, inplace=True)                                    # ادغام و کوانتیزه‌سازی
torch.onnx.export(model, sample_input, path,
    input_names=["input"], output_names=["output"],
    dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}},  # هر اندازه‌ی دسته‌ای (batch)
    opset_version=17)                                              # پیش‌فرض امن در سال 2026