سؤال مصاحبه

شناسه یکسان روی دو سیستم؛ خطا پس از حذف یک خط

Same id on two machines, refused after one deleted line

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

دو سیستم یک شیء مشترک را در پوشه‌های متفاوتی تحلیل می‌کنند و شناسه ev_ یکسانی به دست می‌آورند. همکاری یکی از رکوردها را کپی می‌کند و برای خلاصه‌سازی، یک جمله از بخش محدودیت‌ها (limitations) را حذف می‌کند؛ اما فایل دیگر ایمپورت نمی‌شود. کمی بعد، یک باندل دست‌نخورده که با نسخه‌ی قدیمی‌تر نوشته شده بود هم با خطای مشابهی مواجه می‌شود. بر اساس قواعد تولید شناسه، علت این سه اتفاق را توضیح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این شناسه یک هش محتوایی (content hash) است: پیشوند ev_ به‌همراه هش SHA-256 از JSON متعارف (canonical JSON بر اساس RFC 8785) روی تصویری از رکورد. این تصویر، مقادیر digest، format و architecture مربوط به سوژه را نگه می‌دارد، name و local_path را کنار می‌گذارد و بقیه‌ی بخش‌ها—از جمله raw_result و تک‌تک محدودیت‌ها—را وارد فرایند هش می‌کند. بنابراین، جابه‌جا شدن فایل تغییری در شناسه‌ی آن ایجاد نمی‌کند؛ اما حذف یک محدودیت، محتوا را تغییر می‌دهد و اعتبارسنج آن را با خطای «Evidence semantic identifier does not match its record» رد می‌کند. باندل قدیمی‌تر هم به این دلیل با خطا مواجه می‌شود که خودِ قاعده‌ی تولید شناسه تغییر کرده است: نسخه‌ی قدیمی مقدار null در فیلد relationship_coverage را وارد هش نمی‌کرد، اما نسخه‌ی فعلی آن را هش می‌کند؛ در نتیجه اولین رکورد با پوشش null با خطای evidence_integrity_mismatch رد می‌شود. شواهد ذخیره‌شده مهاجرت داده نمی‌شوند؛ باید آن‌ها را با همان نسخه‌ای که اجرا می‌کنید، دوباره تولید کنید.

پاسخ کامل

فرمول تولید شناسه

فرمت JSON متعارف کلیدهای آبجکت را مرتب می‌کند، فاصله‌های خالی را برمی‌دارد و ساختار نمایش اعداد و رشته‌ها را یکدست می‌سازد. برای رکوردهایی که مقادیر عددی آن‌ها عدد صحیح (integer) است، تابع json.dumps در کتابخانه‌ی استاندارد با کلیدهای مرتب‌شده و جداکننده‌های فشرده (compact separators) دقیقاً بایت‌های یکسانی تولید می‌کند؛ به همین خاطر با چند خط کد در Python یا Node می‌توان تمام شناسه‌های ثبت‌شده را دوباره محاسبه کرد. اعداد اعشاری (floats) پیش از هش شدن رد می‌شوند، چون شکل متعارف و محیط اجرای زبان ممکن است آن‌ها را به شکل‌های متفاوتی چاپ کنند. خلاصه‌ی مشخصات تحلیل (profile digest)، یک هش SHA-256 جداگانه روی {provider, parameters} است؛ اگر ارائه‌دهنده‌ی این مشخصات با ارائه‌دهنده‌ی رکورد فرق داشته باشد، پرونده رد می‌شود.

چه بخش‌هایی داخل و چه بخش‌هایی خارج از هش قرار می‌گیرند؟

مسیری که داخل بخش subject می‌آید خارج از هش می‌ماند، اما مسیر در هر جای دیگری داخل هش قرار می‌گیرد. در یک نمونه، دو فایل ثبت‌شده با هم مطابقت نداشتند چون ابزار ثبت (capture kit)، پوشه‌ای را داخل normalized_result و locations ماسک کرده بود؛ بنابراین رکوردی که در این بخش‌ها مسیر داشته باشد، روی هر سیستم شناسه‌ی متفاوتی می‌گیرد. در رکوردهای خودتان، مسیرها را از بخش نتایج و موقعیت‌ها بیرون نگه دارید. ثبت محدودیت‌ها عمداً بخشی از محتوا در نظر گرفته شده است: حذف یک محدودیت باعث می‌شود اعتبار رکورد فراتر از واقعیت شواهد به نظر برسد؛ چون خواننده‌ی بعدی نمی‌تواند این کاستی را جبران کند، شناسه نامعتبر می‌شود.

اتصال مجدد بدون محاسبه‌ی مجدد هش

می‌توان یک رکورد را با اتصال مجدد (rebind) زیر مسیر جدیدی نمایش داد؛ البته اگر مقادیر digest، format یا architecture تفاوت داشته باشند، این عملیات رد می‌شود. بازپخش اسنپ‌شات هم هنگام نوشتن مسیر هدف بازشده در یک رکورد ذخیره‌شده، دقیقاً همین کار را انجام می‌دهد: مقدار evidence_id تغییر نمی‌کند، چون مسیر از ابتدا داخل هش نبوده است.

بسته خطای استاندارد

همه‌ی خطاها پنج فیلد یکسان دارند: code، category، message، retryable، remediation.action و فیلد اختیاری details. باندل ردشده، ایندکس رکوردی را که خراب شده مشخص می‌کند و می‌گوید کدام فیلد با خطا مواجه شده است. خطای invalid_request پس از اصلاح آرگومان‌ها قابل تلاش مجدد است؛ اما خطای evidence_integrity_mismatch این‌طور نیست.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اصلاً چرا مسیر فایل را از هش بیرون می‌گذاریم؟ پاسخ مورد انتظار: یک مشاهده‌ی یکسان از بایت‌هایی معین باید روی هر سیستم و در هر پوشه‌ای شناسه‌ی یکسانی داشته باشد؛ هویت به محتوا تعلق دارد، نه به جایی که فایل قرار گرفته است.
  • سطح 3: یک تولیدکننده، مسیری مطلق را در فیلد locations می‌نویسد. وقتی یکی از همکاران این باندل را ایمپورت می‌کند چه اتفاقی می‌افتد؟ پاسخ مورد انتظار: باندل دست‌نخورده باز هم ایمپورت می‌شود، چون هشِ مسیرِ ذخیره‌شده با همان شناسه‌ی ذخیره‌شده مطابقت دارد؛ اما اگر همان مشاهده روی سیستم همکار انجام شود، مسیر سیستم او را ثبت می‌کند و شناسه‌ی متفاوتی می‌سازد. هر ویرایشی هم که این مسیر را ماسک کند، شناسه را خراب می‌کند. بخش locations باید نشانی‌ها و مسیرهای نسبی دست‌سازه را نگه دارد، نه مسیرهای سیستم میزبان را.
  • سطح 3: چرا محدودیت‌ها بخشی از محتوا به شمار می‌آیند و نه صرفاً یک کامنت؟ پاسخ مورد انتظار: بدون محدودیت، رکورد ادعایی فراتر از خروجی واقعی ارائه‌دهنده مطرح می‌کند و هیچ‌کس در ادامه‌ی مسیر متوجه این نکته نخواهد شد.
  • سطح 4: با باندل قدیمی‌تر چطور برخورد می‌کنید؟ پاسخ مورد انتظار: باید آن را با نسخه‌ی جاری دوباره تولید کنید؛ چون قانون تولید شناسه عوض شده و شناسه‌ها مهاجرت داده نمی‌شوند. هرگز شناسه را به صورت دستی پچ نکنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «شناسه‌ها، مقادیر تصادفی هستند که هنگام نوشتن اختصاص داده می‌شوند.» آن‌ها هش محتوایی هستند؛ به همین دلیل دو سیستم مختلف به خروجی یکسانی می‌رسند.
  • «محدودیت‌ها را حذف می‌کنیم تا توکن‌های Context ذخیره شوند.» تک‌تک محدودیت‌ها هش می‌شوند. رکوردی که دست‌کاری شده باشد اما evidence_id قدیمی را نگه دارد رد می‌شود، و خواننده هم متوجه نمی‌شود این واقعیت چه مواردی را پوشش نمی‌دهد.
  • «فیلد شناسه را اصلاح می‌کنیم تا باندل ایمپورت شود.» اعتبارسنج دوباره هش را از روی محتوا حساب می‌کند و شناسه‌ای که پچ شده باشد همچنان عدم‌تطابق خواهد داشت.

کجای دوره آموزش داده می‌شود

بخش رکورد شواهد تصویر (projection) و اسکریپت محاسبه‌ی مجدد شناسه‌ها را ارائه می‌دهد، مرجع خطاها شکل باندل ردشده را نشان می‌دهد، و درس شواهد تک‌تک هش‌های ثبت‌شده را در Python از نو محاسبه می‌کند.