سناریوی رخداد

رد ضمنی‌ای که شبیه قطعی شبکه به نظر می‌رسید

An implicit deny that looked like an outage

  • سطح ۲: میانی
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

از یک ایجنت متنی تحت شل در ساندباکس خواسته شده به عنوان اولین گام از یک وظیفه‌ی بزرگ‌تر، صفحه‌ای را از example.com دریافت کند. ایجنت گزارش می‌دهد که شبکه‌ی داخل ساندباکس قطع است و از اپراتور می‌خواهد اتصال را درست کند. اپراتور همان دستور ایجنت را در sbx exec اجرا می‌کند و در کمتر از یک ثانیه پاسخ می‌گیرد؛ بنابراین هیچ خطای تایم‌اوتی رخ نداده است. ساندباکس با پیش‌تنظیمات balanced و بدون هیچ قاعده‌ی اختصاصی ساخته شده بود.

حدس اول تیم، خرابی پروکسی است؛ چون پاسخ شامل دو خط وضعیت متناقض است. حدس دوم، خطای DNS است. شما این شواهد را در اختیار دارید: دو درخواستی که اپراتور اجرا کرد، نتیجه‌ی بررسی پالیسی برای آن هاست، لاگ پالیسی، و دستوراتی که بعد از آن قواعد را تغییر دادند.

نسخه
sbx v0.47.0
مدل
none; shell commands inside the sandbox
سخت‌افزار
one Mac with the microVM runtime

شواهد

a-deny-against-an-existing-allow.txt
title: a deny rule added while the allow rule still exists
source: manuals/docker-sandboxes-101/capture/out/09-deny-conflict.txt
lang: console
note: The CLI refuses it and names the rule it conflicts with.
---
$ sbx policy deny network --sandbox m101-policy example.com
error: deny network rule: deny:   "example.com" conflicts with existing allow rule "<uuid>" (name "<uuid>") for tcp
[exit 1]
an-explicit-deny-reads-differently.txt
title: the GET request after a deny rule replaced the allow
source: manuals/docker-sandboxes-101/capture/out/09-blocked-by-rule.txt
lang: console
note: Compare the body with the approval body of the first listing.
---
$ sbx exec m101-policy sh -c 'curl -sS --max-time 10 https://example.com; echo; echo exit=$?'
Blocked by local rule for example.com:443

exit=0
[exit 0]
check-network-before-any-rule.txt
title: the decision for example.com from sbx policy check network
source: manuals/docker-sandboxes-101/capture/out/09-check-verbose.json
lang: json
note: Read deny_kind and reason.
---
{
  "action": "net:connect:tcp",
  "allowed": false,
  "context": "sandbox:m101-policy",
  "deny_kind": "implicit",
  "governance": {
    "active": false
  },
  "reason": "No matching allow rule (default deny)",
  "resource_type": "net:domain",
  "resource_value": "example.com:443",
  "target": "example.com:443",
  "type": "network"
}
one-allow-rule-later.txt
title: a sandbox-scoped allow rule and the policy list after it
source: manuals/docker-sandboxes-101/capture/out/09-allow.txt
lang: console
note: Read the scope in the first reply and the host count in the list.
---
$ sbx policy allow network --sandbox m101-policy example.com
Rule added to policy local (scope: sandbox:m101-policy): <uuid> (example.com [tcp])
[exit 0]

$ sbx policy ls m101-policy
Policy for sandbox: m101-policy
NETWORK
  allow 195 hosts from <uuid>, local-policy

FILESYSTEM
  read allow all paths from local-policy
  write allow all paths from local-policy

Details: sbx policy ls m101-policy --wide
[exit 0]
the-policy-log.txt
title: the policy log of m101-policy
source: manuals/docker-sandboxes-101/capture/out/09-policy-log.txt
lang: console
note: One blocked row with its rule text, and two allowed rows with their proxy path.
---
$ sbx policy log m101-policy
Blocked requests:
SANDBOX              TYPE      HOST              PROXY     RULE                                                                                         REASON                                  LAST SEEN        COUNT
m101-policy   network   example.com:443   forward   no applicable policies for op(action=net:connect:tcp, resource=net:domain:example.com:443)   No matching allow rule (default deny)   <ts>   <n>

Allowed requests:
SANDBOX              TYPE      HOST                      PROXY            RULE   REASON   LAST SEEN        COUNT
m101-policy   network   download.docker.com:443   forward-bypass                   <ts>   <n>
m101-policy   network   ports.ubuntu.com:80       forward                          <ts>   <n>
[exit 0]
the-same-request-after-the-allow.txt
title: the HEAD request after the allow rule
source: manuals/docker-sandboxes-101/capture/out/09-allowed.txt
lines: 1-7
lang: console
note: Compare the first status line with the one in the first listing.
---
$ sbx exec m101-policy sh -c 'curl -sS --max-time 10 -I https://example.com; echo exit=$?'
HTTP/1.0 200 Connection established

HTTP/2 200 
date: <value>
content-type: text/html; charset=utf-8
server: cloudflare
what-the-agent-saw.txt
title: a HEAD request and a GET request to example.com from inside m101-policy
source: manuals/docker-sandboxes-101/capture/out/09-blocked.txt
lang: console
note: Read the two status lines of the first request, the body of the second, and the exit codes.
---
$ sbx exec m101-policy sh -c 'curl -sS --max-time 10 -I https://example.com; echo exit=$?'
HTTP/1.1 200 OK

HTTP/1.1 403 Forbidden
Content-Length: 90
Content-Type: text/plain

exit=0
[exit 0]

$ sbx exec m101-policy sh -c 'curl -sS --max-time 10 https://example.com; echo; echo exit=$?'
Approval required for example.com:443.

Review and respond with:
  sbx policy approval ls

exit=0
[exit 0]

سؤال‌ها

  1. درخواست HEAD دو خط وضعیت چاپ کرد و با کد خروجی 0 به پایان رسید. کدام مؤلفه هر خط را فرستاده و چرا کد خروجی 0 است؟
  2. نتیجه‌ی بررسی وضعیت را «implicit» اعلام می‌کند و نام هیچ قاعده‌ای را نمی‌آورد. چه چیزی درباره‌ی درخواست تصمیم گرفته است؟
  3. لاگ دو هاست مجاز با مسیرهای پروکسی متفاوت را نشان می‌دهد. مسیر forward-bypass نشان‌دهنده‌ی چیست؟
  4. پس از اعمال قاعده‌ی allow، چه تغییری در خط وضعیت اول همان درخواست رخ داد؟
  5. یک رد صریح (explicit deny) بدنه‌ی متفاوتی برمی‌گرداند. چگونه این دو نوع رد را از داخل ساندباکس و از سمت هاست تشخیص می‌دهید؟
  6. چرا قاعده‌ی deny بار اول رد شد و ترتیب درست عملیات چیست؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. درخواست HEAD را خط‌به‌خط بخوانید. خط HTTP/1.1 200 OK نشان‌دهنده‌ی پذیرش CONNECT توسط فوروارد پروکسی است. خط HTTP/1.1 403 Forbidden زیر آن، درون نشست TLS با یک بدنه‌ی متنی ساده‌ی 90 بایتی و تحت گواهی‌نامه‌ای ارسال شده که ساندباکس به آن اعتماد دارد. ابزار curl هر دو را چاپ کرده و با کد 0 خارج شده، چون پاسخی کامل دریافت کرده است. درخواست GET بدنه را نشان می‌دهد: نیاز به تایید برای example.com:443. هیچ‌چیزی کند نبوده و هیچ مقصدی هم از دسترس خارج نبوده است؛ یک پروکسی با یک تصمیم مشخص پاسخ داده است.
  2. از بخش اعتبارسنجی (authorizer) بپرسید. دستور sbx policy check network همان اعتبارسنج پروکسی را اجرا می‌کند، بدون این‌که چیزی ارسال کند. برای این هاست در بستر این ساندباکس، مقدار allowed: false، نوع رد شدن deny_kind: implicit، دلیل No matching allow rule (default deny) برگردانده می‌شود و هیچ قاعده‌ای ذکر نمی‌شود. پیش‌تنظیمات balanced شامل 194 هاست است و example.com جزو آن‌ها نیست. درخواست با هیچ قاعده‌ای هم‌خوانی نداشته و طبق پیش‌فرض رد شده است.
  3. لاگ را بخوانید. سطر مسدودشده نام هاست، مسیر پروکسی forward، متن قاعده‌ی no applicable policies for op(...) و همان دلیل قبلی را نشان می‌دهد. دو سطرِ مجاز نشان می‌دهند پیش‌تنظیمات چه مواردی را مجاز می‌داند: یک هاست پکیج روی مسیر forward، و یک هاست دانلود روی مسیر forward-bypass؛ یعنی تونلی که پروکسی محتوای آن را بازرسی نمی‌کند. لاگ می‌گوید چه چیزی عبور کرده، و دستور بررسی پالیسی دلیل آن را بیان می‌کند.
  4. قاعده‌ی محدود را اضافه کنید. دستور sbx policy allow network --sandbox m101-policy example.com یک قاعده در دامنه‌ی محلیِ همان یک ساندباکس اضافه می‌کند، و پس از آن خروجی policy ls تعداد 195 هاست را می‌شمارد. اکنون همان درخواست HEAD با HTTP/1.0 200 Connection established آغاز می‌شود و به دنبال آن HTTP/2 200 از سمت سرور اصلی می‌آید. پروکسی ترافیک اتصال را از طریق تونل هدایت می‌کند و خودش دیگر پیامی نمی‌دهد.
  5. دو حالت رد شدن را با هم مقایسه کنید. وقتی قاعده‌ی deny به جای allow قرار می‌گیرد، بدنه‌ی درخواست GET عبارت Blocked by local rule for example.com:443 را نمایش می‌دهد. حالت ضمنی تقاضای تایید می‌کند. در سمت هاست، بررسی پالیسی برای حالت دوم مقدار deny_kind: explicit همراه با شناسه‌ی قاعده، و برای حالت اول مقدار implicit را گزارش می‌دهد.
  6. به ترتیب مراحل دقت کنید. ثبت قاعده‌ی deny برای example.com تا زمانی که قاعده‌ی allow برای همان هاست در همان دامنه وجود داشت پذیرفته نشد و متن خطا نام قاعده‌ی allow را برگرداند. اول باید allow را حذف کنید، سپس deny را اضافه کنید. هنگام ارزیابی، اولویت با deny است، اما CLI اجازه‌ی ذخیره‌ی هم‌زمان هر دو را نمی‌دهد.
نتیجه

هیچ قطعی شبکه‌ای در کار نبوده است. دامنه‌ی example.com در لیست مجاز پیش‌تنظیمات balanced (شامل 194 هاست) قرار ندارد. پروکسی اتصال را بر اساس پیش‌فرضِ ضمنی رد کرده و درون نشست TLS با کد 403 و پیامی مبنی بر نیاز به تایید پاسخ داده است. افزودن یک قاعده‌ی allow با دامنه‌ی محدود به این ساندباکس، همان درخواست را به یک اتصال تونل‌شده با پاسخ 200 از سرور اصلی تبدیل کرد. گزارش ایجنت دقیقاً مطابق همان حالتی نادرست بود که در درس حالت‌های شکست پیش‌بینی می‌شود: یک کد وضعیت را دید و علتی را گزارش کرد که خودش صحتش را بررسی نکرده بود.

اقدامات اصلاحی:

  1. دستورالعمل‌های ایجنت را تغییر دهید تا پاسخ 403 با بدنه‌ی اعلام تایید را به عنوان یک تصمیم پالیسی همراه با هاست و پورت گزارش کند، تا اپراتور بتواند قاعده را اضافه کند.
  2. قبل از دستکاری شبکه، دستور sbx policy check network --sandbox NAME host:port --json را اجرا کنید و مقادیر deny_kind و rule را بخوانید.
  3. برای یک ایجنت خاص، قواعد را با آرگومان --sandbox اضافه کنید و پالیسی سراسری (global) را برای هاست‌هایی نگه دارید که همه‌ی ایجنت‌ها به آن‌ها نیاز دارند. پیش از افزودن قاعده‌ی deny در یک دامنه، هر قاعده‌ی allow موجود برای آن هاست در آن دامنه را حذف کنید.
مسیرهای اشتباه رایج
  • «دیمن (daemon) را ری‌استارت کنید، چون پروکسی دو کد متفاوت برمی‌گرداند.» هر دو خط نشان‌دهنده‌ی کارکرد درست پروکسی هستند: خط اول تونل را می‌پذیرد و خط دوم هاست را رد می‌کند. ری‌استارت کردن هیچ قاعده‌ای را تغییر نمی‌دهد.
  • «مشکل از DNS است چون example.com ریزالو نمی‌شود.» درخواست با نام هاست به پروکسی رسیده و پروکسی بر اساس پالیسی دسترسی هاست را رد کرده است. بدنه، خروجی بررسی پالیسی و لاگ همگی نام هاست و پورت را نشان می‌دهند.
  • «دسترسی example.com را به صورت سراسری مجاز کنید تا این وضعیت متوقف شود.» قاعده‌ی سراسری دسترسی هاست را برای همه‌ی ساندباکس‌ها باز می‌کند. دامنه‌ی محلی دقیقاً برای نیاز اختصاصی یک ایجنت در نظر گرفته شده است.
  • «همین الان یک قاعده‌ی deny بگذارید تا ایجنت نتواند دوباره تلاش کند.» قاعده‌ی deny با قاعده‌ی allow موجود در همان دامنه تداخل دارد و پذیرفته نمی‌شود؛ از طرفی وظیفه‌ی ایجنت به آن هاست نیاز داشت. شیوه‌ی گزارش ایجنت را اصلاح کنید، نه دسترسی هاست را.
درس کلی

ایجنت وقتی خطایی را گزارش می‌کند، صرفاً یک ادعا تحویل شما می‌دهد، نه یک عیب‌یابی دقیق. فراخوانی را بیرون از ایجنت بازتولید کنید، تمام پاسخ را بخوانید نه فقط خط اول وضعیت را، و پیش از این‌که دنبال ایراد شبکه بگردید، علت تصمیم را از لایه‌ی پالیسی جویا شوید. یک رد شدن همراه با پیام در بدنه، یعنی پاسخی دریافت شده است. تایم‌اوت شدن است که نشانه‌ی نقص فنی به حساب می‌آید.

کجای دوره آموزش داده می‌شود

صفحه‌ی پالیسی به توضیح دامنه‌ها و دستور check network می‌پردازد، صفحه‌ی پروکسی نحوه‌ی تحلیل خطای 403 و لاگ‌ها را بررسی می‌کند، و درس حالت‌های شکست به بررسی حالتی اختصاص دارد که در آن ایجنت دلیلی را گزارش می‌دهد که صحت آن را بررسی نکرده است.