رفتن به محتوا
مدیریت اسناد

استناد یا امتناع: چرا دستیار هوشمند داخلی گاهی باید بگوید «نمی‌دانم»

دستیاری که با اطمینان به سؤالی جواب می‌دهد که هیچ سندی پوشش نداده، مفید نیست، دارد یک پاسخ غلط را با همان لحن پاسخ درست تولید می‌کند. راه‌حل یک پرامپت بهتر نیست. یک معماری است که نمی‌تواند ارجاع جعل کند.

ت
تیم فنپینو
۲۴ مرداد ۱۴۰۵
استناد یا امتناع: چرا دستیار هوشمند داخلی گاهی باید بگوید «نمی‌دانم»

حالت خرابی‌ای که اعتماد به دستیار هوشمند داخلی را می‌کشد، پاسخ غلط با یک هشدار کنارش نیست. پاسخ غلطی است که با همان اطمینان پاسخ درست بیان می‌شود، چون مدل «واقعاً این را نمی‌دانم» را متفاوت از «این را کامل بلدم» تجربه نمی‌کند. اگر رهایش کنید، شکاف را با چیزی قابل‌قبول به نظر پر می‌کند، و کارمندی که طبق آن عمل می‌کند هیچ راهی برای تشخیص تفاوت ندارد.

چرا یک پرامپت بهتر این را حل نمی‌کند

«فقط از متن ارائه‌شده پاسخ بده» یک درخواست است، نه یک محدودیت، مدل هنوز می‌تواند بیشتر وقت‌ها رعایتش کند و بقیهٔ وقت‌ها توهم بزند، و دقیقاً همان دفعه‌های معدود جایی است که کسی چک نمی‌کند، چون بقیهٔ حرف‌هایش درست بوده. پرامپت‌نویسی نرخ خطا را کم می‌کند. حالت خرابی را حذف نمی‌کند. اگر صداقت به انتخاب مدل برای صادق‌بودن بستگی داشته باشد، بالاخره اشتباه انتخاب می‌کند.

چیزی که حالت خرابی را حذف می‌کند، نه فقط کم

دو تصمیم معماری، نه دو جملهٔ دستور بهتر:

  • ارجاع‌ها سمت سرور و از چیزی که واقعاً بازیابی شده ساخته می‌شوند، نه اینکه بعداً از مدل خواسته شود. پاسخ فقط می‌تواند به قطعه‌سندی ارجاع دهد که جلویش است، چون فهرست ارجاع مستقیم از نتایج بازیابی ساخته می‌شود، نه به‌عنوان متنی کنار پاسخ تولید می‌شود. هیچ راهی نیست که مدل به چیزی که ساخته ارجاع دهد، چون هیچ‌وقت خودش ارجاع را نمی‌نویسد.
  • یک دروازهٔ اطمینان بازیابی، نه یک درخواست برای مراقب‌بودن، وقتی هیچ‌چیزِ بازیابی‌شده به حداقل امتیاز ربط نمی‌رسد، سیستم به‌جای خواستن پاسخ از مدل، امتناع برمی‌گرداند. مدل هیچ‌وقت در موقعیت کش‌دادن یک تطابق مرزی به پاسخ مطمئن قرار نمی‌گیرد، چون هیچ‌وقت آن تطابق مرزی را انگار کافی است نشانش نمی‌دهند.

دروازه یک وظیفهٔ دوم هم دارد: گفتن اینکه واقعاً چه چیزی کم است

هر امتناعی ارزش ثبت‌شدن دارد، نه فقط نمایش. خوشه‌ای از سؤالات امتناع‌شده دربارهٔ یک موضوع، سیگنالی مستقیم و بدون‌ابهام است که یک سند واقعی از ایندکس جا مانده، نه نویزی که باید کنار گذاشت، بلکه مفیدترین بازخوردی که سیستم تولید می‌کند. امتناعی که به‌جایی نمی‌رسد سیگنالی هدررفته است؛ امتناعی که به یک وظیفه برای ادمین محتوا تبدیل می‌شود، دقیقاً همان راهی است که پایگاه دانش واقعاً با زمان بهتر می‌شود، نه فقط بزرگ‌تر.

هیچ‌کدام این‌ها دستیار را کم‌فایده‌تر نمی‌کند. «نمی‌دانم» را به پاسخی مشروع و مورد انتظار تبدیل می‌کند به‌جای موردی حاشیه‌ای که مدل هیچ‌وقت واقعاً برای دادنش ساخته نشده، که تنها راهی است که «بله» هم قابل‌اعتماد باشد.

نیمهٔ دیگر همین قاعده این است که هر جوابی که می‌دهد به منبعش برگردد؛ این را در جواب هوش مصنوعی با استناد، نه حدس نوشته‌ایم.

پرسش‌های متداول

آیا یک پرامپت بهتر جلوی توهم دستیار هوش مصنوعی داخلی را می‌گیرد؟

نه. اینکه به مدل بگویید فقط از متن ارائه‌شده جواب بدهد یک درخواست است، نه یک محدودیت. نرخ خطا را کم می‌کند اما خودِ حالت خطا را حذف نمی‌کند، و خطاها دقیقاً جایی رخ می‌دهند که کسی بررسی نمی‌کند. اگر صداقت به انتخاب مدل بستگی داشته باشد، بالاخره روزی اشتباه انتخاب می‌کند.

چطور جلوی ارجاع دستیار هوش مصنوعی به منابع ساختگی را بگیریم؟

فهرست ارجاع‌ها را سمت سرور از نتایج واقعی بازیابی بسازید، نه اینکه از مدل بخواهید ارجاع بنویسد. پاسخ فقط می‌تواند به بخش‌هایی از اسناد اشاره کند که واقعاً جلوی مدل بوده‌اند. چون مدل هیچ‌وقت خودش ارجاع را نمی‌نویسد، راهی برای ارجاع به چیزی که ساخته وجود ندارد.

وقتی هیچ سندی به پرسش جواب نمی‌دهد، دستیار هوش مصنوعی چه کند؟

پاسخ ندهد. یک دروازه‌ی اطمینان بازیابی وقتی هیچ نتیجه‌ای از حداقل امتیاز ارتباط عبور نکند، به جای پاسخ، امتناع برمی‌گرداند تا مدل هیچ‌وقت مجبور به کش دادن یک تطابق ضعیف نشود. هر امتناع را هم ثبت کنید؛ مجموعه‌ای از پرسش‌های ردشده درباره‌ی یک موضوع نشان می‌دهد سندی واقعی در ایندکس نیست.

فن‌مایند را ببینید

دستیار فارسی‌زبانی که فقط از سندهای خودِ سازمان جواب می‌ده، با ارجاع دقیق و کنترل دسترسی کامل.

مشاهدهٔ محصول

اشتراک‌گذاری این مقاله