سؤال مصاحبه

طراحی سرویس استخراج اطلاعات از ایمیل‌های سفارش خرید

Design an extraction service for purchase-order emails

  • سطح ۳: ارشد
  • طراحی
  • ۲۰ دقیقه

سرویس استخراج اطلاعات را برای ایمیل‌های سفارش خرید طراحی کنید. ورودی متن آزاد است؛ خروجی یک رکورد تایپ‌شده شامل مشتری، اقلام فاکتور و مبلغ کل است. اسکیما، حالت اعمال محدودیت، مدیریت تلاش مجدد و امتناع مدل، و نحوه‌ی اثبات کارکرد درست سیستم پیش از اتصال به سیستم حسابداری را پوشش دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک JSON Schema 2020-12 با محدودیت‌های اساسی بنویسید: فیلدهای اجباری، مقادیر مجاز (enum) برای مجموعه‌های بسته، حداقل مقدار صفر برای مبلغ کل، ممنوعیت ویژگی‌های اضافه (additional properties)، و قرار دادن فیلدهای استدلال پیش از فیلدهای تصمیم‌گیری. آن را در حالت سخت‌گیرانه‌ی اسکیما (strict schema mode) از سوی ارائه‌دهنده اجرا کنید تا پاسخی که به پایان می‌رسد، به‌هیچ‌وجه خطای تجزیه یا نقض اسکیما نداشته باشد. دلیل توقف مدل (stop reason) را بررسی کنید تا پاسخی که در سقف توکن قطع شده به مسیر خطا هدایت شود، و با امتناع مدل مثل یک نتیجه‌ی تایپ‌شده برخورد کنید که مستقیماً به صف بررسی انسانی می‌رود. صحت کارکرد را با یک مجموعه‌داده‌ی برچسب‌خورده از ایمیل‌های واقعی با امتیازدهی به‌تفکیک فیلد، ارزیابی امتناع روی ورودی‌هایی که نباید استخراج شوند، و اجرای موازی در کنار فرایند انسانی پیش از ثبت هرگونه رکورد اثبات کنید.

پاسخ کامل

اسکیما

  • استفاده از type، properties و required برای تعریف ساختار؛ همه‌ی ویژگی‌ها در فهرست required قرار می‌گیرند و در جاهایی که منبع ممکن است مقداری نداشته باشد، null مجاز است.
  • استفاده از enum برای مجموعه‌های بسته مانند واحد پول یا وضعیت؛ minimum برای مبلغ کل؛ pattern، minLength و maxLength برای شناسه‌ها؛ و items برای اقلام فاکتور.
  • تعریف additionalProperties: false در همه‌جا، که جلوی فیلدهای ساختگی را می‌گیرد و حالت سخت‌گیرانه نیز آن را الزامی می‌داند.
  • ترتیب فیلدها به‌منزله‌ی منطق است: هر فیلد reasoning باید پیش از total یا status بیاید، چون مدل به نخستین فیلدی که می‌نویسد commit می‌کند.

در Python، یک مدل Pydantic این اسکیما را تولید می‌کند؛ سرویس، اسکیما را به‌عنوان قرارداد کاری و مدل Pydantic را به‌عنوان متصل‌کننده‌ی آن نگه می‌دارد.

حالت اعمال محدودیت

موقعیت انتخاب
مدل پیشرو میزبانی‌شده، اسکیمای مسطح حالت سخت‌گیرانه‌ی اسکیما از سوی ارائه‌دهنده
چند ارائه‌دهنده‌ی مختلف، قابل‌قبول بودن تلاش‌های مجدد کتابخانه‌ی تلاش مجدد روی مدل Pydantic، که سازگار و مستقل از پلتفرم است و به لاجیت‌ها کاری ندارد
مدل محلی، الزام به معتبر بودن حتمی خروجی موتور گرامر؛ ماشین حالت متناهی برای اسکیمای مسطح و مستقل از متن برای اسکیمای بازگشتی

حالت سخت‌گیرانه در اینجا انتخاب پیش‌فرض است: خروجیِ کامل‌شده ذاتاً تجزیه‌پذیر و معتبر است. تنها دو نوع شکست باقی می‌ماند: امتناع مدل، و پاسخی که در سقف توکن قطع شده و ممکن است هنوز خطای تجزیه بدهد. دلیل توقف را پیش از خواندن خروجی بررسی کنید و پاسخ ناقص را به مسیر خطا بفرستید.

تلاش مجدد و امتناع مدل

خارج از حالت سخت‌گیرانه: تولید کنید، تجزیه کنید، اعتبارسنجی کنید، خطاهای تایپ‌شده را تزریق کنید و دوباره امتحان کنید؛ حداکثر 3 بار. بیشتر از 3 بار نشان می‌دهد که اسکیما یا پرامپت برای برخی ورودی‌ها ایراد دارد. در همه‌ی حالت‌ها: امتناع مدل یک نتیجه‌ی درجه‌یک است که دلیل مشخصی همراه خود دارد. آن را ثبت کنید، به‌شکل تایپ‌شده برگردانید، به صف بازبینی بفرستید و هرگز دوباره امتحانش نکنید؛ زیرا تحمیل رکورد به ورودیِ نامربوط، داده‌ی ساختگی تولید می‌کند.

اثبات صحت پیش از ثبت رکورد در حسابداری

  1. یک مجموعه‌داده‌ی برچسب‌خورده از ایمیل‌های واقعی با رکوردهای معیار؛ در درس خروجی‌های ساختاریافته از 50 سند استفاده می‌شود. تطابق دقیق، دقت به‌ازای هر فیلد و انطباق با تایپ‌ها را گزارش کنید.
  2. ارزیابی امتناع مدل. ورودی‌هایی بسازید که به‌هیچ‌وجه نباید استخراج شوند، مانند شعر، یک اثبات ریاضی یا یک ایمیل خالی، و نسبت امتناع‌ها را در برابر خروجی‌های ساختگی بسنجید.
  3. اطمینان به‌ازای هر فیلد از طریق استخراج مکرر یا احتمال توکن‌ها، همراه با هدایت رکوردهای کم‌اطمینان به کارشناس انسانی.
  4. نسخه‌ی اسکیما روی هر رکورد، و تفاوت‌های بازنگری اسکیما برای تفکیک تغییرات ناسازگار (breaking) از سازگار پیش از هر بار استقرار.
  5. اجرای موازی در کنار فرایند انسانی روی مجموعه‌داده‌ی برچسب‌خورده؛ سرویس تا زمانی که ارقام سطح فیلد به حد نصاب توافق‌شده با تیم مالی نرسند، چیزی در سیستم ثبت نمی‌کند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا باید ویژگی‌های اضافه را ممنوع کرد؟ پاسخ مورد انتظار: مانع فیلدهای ساختگی می‌شود و حالت سخت‌گیرانه هم آن را در همه‌جا الزامی می‌داند.
  • سطح 3: قصد دارید سال آینده ارائه‌دهنده‌ی مدل را عوض کنید. کدام حالت را برمی‌گزینید؟ پاسخ مورد انتظار: کتابخانه‌ی تلاش مجدد روی مدل Pydantic برای جابه‌جایی‌پذیری، یا یکسان نگه‌داشتن دقیق اسکیما میان ارائه‌دهنده‌ها تا حالت سخت‌گیرانه‌ی هرکدام قرارداد یکسانی دریافت کند.
  • سطح 4: پس از ثبت رکوردها، چگونه اسکیما را نسخه‌گذاری می‌کنید؟ پاسخ مورد انتظار: یک فیلد نسخه روی هر رکورد و تفاوت‌های بازنگری اسکیما برای تفکیک تغییرات ناسازگار از سازگار. حالت سخت‌گیرانه همه‌ی فیلدها را اجباری می‌کند، بنابراین فیلد اضافه‌شده نیز تغییر ناسازگار است، چون رکوردهای ثبت‌شده‌ی پیشین فاقد آن هستند؛ فیلدهای حذف‌شده و تایپ‌های تغییریافته ناسازگارند، اما تسهیل محدودیت‌ها ناسازگار نیست.
  • سطح 4: این طراحی کدام خطا را نمی‌تواند برطرف کند و این خطا به کجا هدایت می‌شود؟ پاسخ مورد انتظار: مقدار اشتباه با تایپ درست؛ این خطا به بخش ارزیابی در سطح فیلد و نشانگرهای اطمینان می‌رود و رکوردهای کم‌اطمینان نیز برای بازبینی انسانی ارسال می‌شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کافی است در پرامپت JSON بخواهید و آن را تجزیه کنید، مدل خوب کار می‌کند.» این کار در 85 تا 95 درصد مواقع جواب می‌دهد و به 6 روش مختلف خراب می‌شود؛ سیستم حسابداری به قرارداد رسمی نیاز دارد.
  • «امتناع‌ها را آن‌قدر تکرار کنید تا مدل رکورد بدهد.» امتناع یعنی ورودی با ساختار همخوانی ندارد؛ تحمیل رکورد باعث تولید داده‌ی ساختگی می‌شود.
  • «اعتبارسنجی پس از تولید، به‌اندازه‌ی حالت سخت‌گیرانه خوب است.» این روش قابل‌اطمینان است اما برای هر تلاش مجدد هزینه می‌تراشد، و خروجی ناقص در هر بار، یک نوبت گفت‌وگو می‌سوزاند.

کجای دوره آموزش داده می‌شود

درس خروجی ساختاریافته ساختارهای اسکیما، قواعد حالت سخت‌گیرانه، الگوی تلاش مجدد و مدیریت امتناع مدل را آموزش می‌دهد؛ درس خروجی‌های ساختاریافته ارزیابی برچسب‌خورده و تفاوت‌های بازنگری اسکیما را پوشش می‌دهد؛ و درس رمزگشایی مقید جدول حالت‌ها و قاعده‌ی ترتیب فیلدها را ارائه می‌کند.