عرضه یک برنامه عملیاتی LLM

async def call_llm_with_retry(prompt, model, max_retries=3):
    for attempt in range(max_retries + 1):
        try:
            ...                                                         # یک فراخوانی ارائه‌دهنده
        except (ConnectionError, TimeoutError):
            if attempt < max_retries:
                backoff = min(2 ** attempt + random.uniform(0, 1), 10)  # سقف 10 ثانیه
                await asyncio.sleep(backoff)
            else:
                raise
    raise ConnectionError(f"All {max_retries} retries exhausted for {model.value}")
# call_with_fallback walks FALLBACK_CHAIN, preferred model first.

event: token  # نوع محتوا text/event-stream
data: {"index":0,"text":"Label:"}
  # یک خط خالی پایان هر رویداد را مشخص می‌کند
event: token
data: {"index":1,"text":" positive."}

event: done
data: {"label":"positive","score":1.0,"tokens":11}

{"providers": [
  {"name": "primary", "url": "http://127.0.0.1:11434/v1/chat/completions"},
  {"name": "backup", "url": "http://127.0.0.1:11435/v1/chat/completions",
   "key_env": "ORCHARD_BACKUP_KEY"}],  # نام متغیر محیطی، نه کلید اصلی
 "max_attempts": 2,                    # 1 تا 16، یک بازدید به ازای هر ارائه‌دهنده
 "max_response_bytes": 65536,          # 1 بایت تا 16 مبی‌بایت
 "timeout_ms": 4000}                   # 1 تا 5000، کل مسیر