حالت خرابیای که اعتماد به دستیار هوشمند داخلی را میکشد، پاسخ غلط با یک هشدار کنارش نیست. پاسخ غلطی است که با همان اطمینان پاسخ درست بیان میشود — چون مدل «واقعاً این را نمیدانم» را متفاوت از «این را کامل بلدم» تجربه نمیکند. اگر رهایش کنید، شکاف را با چیزی قابلقبول به نظر پر میکند، و کارمندی که طبق آن عمل میکند هیچ راهی برای تشخیص تفاوت ندارد.
چرا یک پرامپت بهتر این را حل نمیکند
«فقط از متن ارائهشده پاسخ بده» یک درخواست است، نه یک محدودیت — مدل هنوز میتواند ۹۵٪ مواقع رعایتش کند و ۵٪ بقیه توهم بزند، و دقیقاً همان ۵٪ جایی است که کسی چک نمیکند، چون بقیهٔ حرفهایش درست بوده. پرامپتنویسی نرخ خطا را کم میکند. حالت خرابی را حذف نمیکند. اگر صداقت به انتخاب مدل برای صادقبودن بستگی داشته باشد، بالاخره اشتباه انتخاب میکند.
چیزی که حالت خرابی را حذف میکند، نه فقط کم
دو تصمیم معماری، نه دو جملهٔ دستور بهتر:
- ارجاعها سمت سرور و از چیزی که واقعاً بازیابی شده ساخته میشوند — نه اینکه بعداً از مدل خواسته شود. پاسخ فقط میتواند به قطعهسندی ارجاع دهد که جلویش است، چون فهرست ارجاع مستقیم از نتایج بازیابی ساخته میشود، نه بهعنوان متنی کنار پاسخ تولید میشود. هیچ راهی نیست که مدل به چیزی که ساخته ارجاع دهد، چون هیچوقت خودش ارجاع را نمینویسد.
- یک دروازهٔ اطمینان بازیابی، نه یک درخواست برای مراقببودن — وقتی هیچچیزِ بازیابیشده به حداقل امتیاز ربط نمیرسد، سیستم بهجای خواستن پاسخ از مدل، امتناع برمیگرداند. مدل هیچوقت در موقعیت کشدادن یک تطابق مرزی به پاسخ مطمئن قرار نمیگیرد، چون هیچوقت آن تطابق مرزی را انگار کافی است نشانش نمیدهند.
دروازه یک وظیفهٔ دوم هم دارد: گفتن اینکه واقعاً چه چیزی کم است
هر امتناعی ارزش ثبتشدن دارد، نه فقط نمایش. خوشهای از سؤالات امتناعشده دربارهٔ یک موضوع، سیگنالی مستقیم و بدونابهام است که یک سند واقعی از ایندکس جا مانده — نه نویزی که باید کنار گذاشت، بلکه مفیدترین بازخوردی که سیستم تولید میکند. امتناعی که بهجایی نمیرسد سیگنالی هدررفته است؛ امتناعی که به یک وظیفه برای ادمین محتوا تبدیل میشود، دقیقاً همان راهی است که پایگاه دانش واقعاً با زمان بهتر میشود، نه فقط بزرگتر.
هیچکدام اینها دستیار را کمفایدهتر نمیکند. «نمیدانم» را به پاسخی مشروع و مورد انتظار تبدیل میکند بهجای موردی حاشیهای که مدل هیچوقت واقعاً برای دادنش ساخته نشده — که تنها راهی است که «بله» هم قابلاعتماد باشد.
