از یک چتبات هوش مصنوعی عمومی دربارهی سندی که آپلود کرده‌اید سؤال بپرسید، جواب مطمئن و خوش‌نوشته‌ای می‌گیرید. مشکل وقتی خودش را نشان میدهد که واقعاً بخواهید به آن جواب برای تصمیمی مهم اعتماد کنید — هیچ راهی برای چک‌کردن اینکه جواب از کجا آمده نیست، مگر اینکه کل سند را دوباره خودتان بخوانید، که دقیقاً همان کاری‌ست که سؤال‌پرسیدن قرار بود از آن جلوگیری کند.
جستوجوی معنایی، نه فقط کلمهی کلیدی
جستوجوی مبتنی بر کلمهی کلیدی سؤال‌هایی را که با کلمات متفاوت از متن اصلی پرسیده شوند از دست میدهد. فایل‌انرژی به‌جای آن، اسناد را با vector embedding ایندکس میکند — هر بخش از یک PDF، صفحهگسترده یا ارائه به‌شکلی رمزگذاری میشود که یک سؤال میتواند با یک پاراگراف تطبیق پیدا کند حتی اگر هیچ‌کدام از کلمات یکسان نباشند. همین باعث میشود «ریسک ما روی خط لولهی شمالی چقدره» پاراگرافی را پیدا کند که اصلاً کلمهی «ریسک» در آن نیامده.
در آرشیوهای بزرگ مشکل زودتر شروع میشود: آرشیوی با چند هزار سند که کسی نمی‌تواند در آن جستوجو کند عملاً به کار نمی‌آید، هر قدر هم مرتب ذخیره شده باشد.
جوابی بدون استناد، فقط حدسی با دستور زبان خوب است
بخشی که واقعاً اهمیت دارد این است: هر جواب با یک استناد در سطح صفحه همراه است که به سند منبع اشاره میکند. حرف هوش مصنوعی را باور نمی‌کنید — روی استناد کلیک می‌کنید و همان پاراگراف دقیق را می‌خوانید. اگر استناد چیزی را که جواب ادعا میکند نگوید، همان لحظه متوجه می‌شوید، نه سه تصمیم بعد.
روی دیگر ماجرا هم به همان اندازه مهم است: وقتی اسناد جوابی برای سؤال ندارند، دستیار باید بگوید نمی‌داند، نه اینکه جواب بسازد.
OCR یعنی PDFهای اسکنشده هم حساب میشوند
بخش زیادی از کتابخانههای پژوهشی نیمی متن قابل‌جست‌وجو و نیمی صفحات اسکن‌شده‌ای‌ست که هرگز OCR نشده‌اند، یعنی نیمی از کتابخانه برای هر ابزار جستوجویی نامرئی است. فایل‌انرژی هنگام ورود سند OCR اجرا میکند، پس یک گزارش اسکنشدهی پنج‌سال‌پیش دقیقاً به‌همان اندازه‌ی چیزی که دیروز نوشته شده قابل‌جست‌وجوست.
همین فاصله میان یک فهرست و جستوجوی واقعی در داده‌های پژوهشی هم دیده میشود، که در چرا فهرست پپتید کافی نیست و جستوجوی شباهت لازم است به آن پرداخته‌ایم.
پرسش‌های متداول
چرا نمیتوان به پاسخ چتبات هوش مصنوعی دربارهی اسناد خود اعتماد کرد؟
چون بدون خواندن دوبارهی کل سند راهی برای بررسی منبع پاسخ نیست، و این هدف پرسیدن را از بین میبرد. چتبات عمومی در هر حال پاسخی مطمئن و خوشنوشت میدهد. پاسخ بدون ارجاع فقط حدسی با دستور زبان خوب است و شاید خطایش را سه تصمیم بعد بفهمید.
جستوجوی معنایی چطور بخشهایی را پیدا میکند که کلمات دیگری دارند؟
اسناد با بردارهای معنایی ایندکس میشوند، یعنی هر بخش از PDF، صفحهگسترده یا ارائه بر اساس معنا رمزگذاری میشود. آن وقت پرسش میتواند با بخشی تطبیق پیدا کند که هیچ کلمهی مشترکی با آن ندارد. پرسش دربارهی ریسک خط لولهی شمالی میتواند پاراگرافی را پیدا کند که اصلاً واژهی ریسک در آن نیست.
آیا جستوجوی هوشمند اسناد میتواند PDFهای اسکنشده را بخواند؟
فقط اگر هنگام ورود اسناد OCR اجرا شود. بسیاری از کتابخانههای پژوهشی نیمی متن قابل جستوجو و نیمی صفحهی اسکنشدهای هستند که هرگز OCR نشده، یعنی نیمی از کتابخانه برای هر ابزار جستوجویی نامرئی است. با OCR هنگام ورود، گزارش اسکنشدهی پنج سال پیش هم مثل سند دیروز قابل جستوجوست.
