کلادفلر در ۱۷ آوریل ۲۰۲۶ امتیاز Agent Readiness را معرفی کرد و یک اسکنر رایگان در isitagentready.com گذاشت. آدرس سایت را می‌دهید، چند درخواست به سایت فرستاده میشود و یک سطح از ۰ تا ۵ می‌گیرید، به‌علاوهٔ قبول یا رد برای هر بررسی. ما ۲۰ اکتبر ۲۰۲۶ (۲۸ مهر ۱۴۰۵) سایت خودمان، fanpino.com، را با آن اسکن کردیم. نتیجه سطح ۱ بود: «حضور پایه در وب».
این عدد تا وقتی بد به نظر می‌رسد که بررسی‌ها را یکی‌یکی نخوانده‌اید. بیشترشان می‌پرسند آیا سایت یک API، یک سرور MCP یا یک سرور OAuth در اختیار ایجنتها می‌گذارد. یک سایت معرفی و وبلاگ چنین چیزی ندارد و ساختن فایل‌های خالی فقط برای گرفتن امتیاز به هیچ ایجنتی کمک نمی‌کند. یکی از بررسی‌ها واقعاً کمبود بود و با یک خط درست شد.
این امتیاز دقیقاً چه چیزی را می‌سنجد
طبق اطلاعیهٔ کلادفلر، امتیاز چهار بخش دارد:
- کشف‌پذیری: robots.txt، sitemap.xml و هدرهای پاسخ Link (RFC 8288).
- محتوا: Markdown for Agents، یعنی سرور وقتی کلاینت
Accept: text/markdownمی‌فرستد، markdown برگرداند. - کنترل دسترسی ربات‌ها: Content Signals، قواعد ربات‌های AI در robots.txt و Web Bot Auth.
- قابلیت‌ها: فهرست agent skills، کاتالوگ API (RFC 9727)، کشف OAuth (RFC 8414 و RFC 9728)، کارت سرور MCP و WebMCP.
پروتکل‌های تجارت مثل x402 بررسی می‌شوند اما به گفتهٔ خود کلادفلر فعلاً در امتیاز حساب نمی‌شوند. llms.txt هم در اسکن پیشفرض نیست و همان مطلب میگوید میشود آن را به اسکن سفارشی اضافه کرد. اسکنر فعلی از زمان معرفی بزرگ‌تر شده است: توضیح خودش از ۲۳ بررسی حرف می‌زند و گزارش ما شامل کشف ایجنت از راه DNS (DNS-AID)، کارت ایجنت A2A و فایل Auth.md هم بود.
برای اینکه بدانید بیشتر سایت‌ها کجا ایستاده‌اند: Cloudflare Radar دویست هزار دامنهٔ پربازدید را بررسی کرده است. طبق ارقام آن‌ها، ۷۸٪ robots.txt دارند، ۴٪ ترجیح استفادهٔ AI را با Content Signals اعلام کرده‌اند، ۳٫۹٪ بررسی مذاکرهٔ markdown را قبول می‌شوند، و کارت سرور MCP و کاتالوگ API روی هم در کمتر از ۱۵ سایت دیده شده است.
اسکن ما، بررسی به بررسی
fanpino.com یک سایت ایستای Astro به سه زبان انگلیسی، فارسی و عربی است که از پشت کلادفلر سرو میشود. پیش از این اسکن، نقشهٔ سایت، فایل‌های llms.txt و llms-full.txt و یک robots.txt داشت که دوازده خزندهٔ AI (از جمله GPTBot، ClaudeBot، PerplexityBot و Google-Extended) را با نام آورده و به همه اجازه داده است. نتیجهٔ اسکنر این بود:
- کشف‌پذیری، ۲ از ۴: robots.txt و نقشهٔ سایت قبول شدند. هدر Link رد شد (روی صفحهٔ اصلی هدر
Linkنبود). DNS-AID رد شد. - محتوا، ۰ از ۱: مذاکرهٔ markdown رد شد. سرور هر هدر
Acceptکه بیاید، HTML برمی‌گرداند. - کنترل دسترسی ربات‌ها، ۱ از ۲: قواعد ربات‌های AI قبول شد و هر دوازده خزنده «صریحاً مجاز» خوانده شدند. Content Signals رد شد. Web Bot Auth فقط اطلاعاتی گزارش شد.
- کشف API، احراز هویت، MCP و A2A، ۰ از ۹: کاتالوگ API، کشف OAuth، متادیتای منبع محافظت‌شدهٔ OAuth، Auth.md، کارت سرور MCP، کارت ایجنت A2A، فهرست agent skills، WebMCP و مانیفست ARD همه رد شدند.
- تجارت: همهٔ بررسی‌ها «سایت تجاری نیست» برگرداندند که درست است و امتیازی ندارد.
اصلاح یک‌خطی: Content Signals
این روشن‌ترین کمبود بود. robots.txt ما از قبل می‌گفت هر خزندهٔ AI می‌تواند همه‌چیز را بخواند، اما این را فقط خزنده به خزنده و با Allow: / گفته بود. Content Signals (یک پیش‌نویس IETF) به سایت اجازه می‌دهد بگوید محتوای خواندهشده برای چه کاری استفاده شود، با سه مقدار بله یا خیر: search (ساختن نمایهٔ جستجو و نمایش لینک و خلاصه)، ai-input (استفادهٔ لحظهای در پاسخ AI، مثل بازیابی برای جواب یک چت) و ai-train (آموزش یا تنظیم دقیق مدل).
چون خزنده‌های آموزشی را از قبل با نام مجاز کرده بودیم، اعلام صادقانه همان چیزی بود که فایل از قبل انجام می‌داد. این را زیر User-agent: * اضافه کردیم:
User-agent: *
Allow: /
Content-Signal: search=yes, ai-input=yes, ai-train=yesاگر robots.txt شما خزنده‌های آموزشی را مسدود میکند، ai-train=no بنویسید. مهم این است که سیگنال و قواعد خزندهها یک حرف بزنند. سایتی که GPTBot را می‌بندد ولی ai-train=yes اعلام میکند، دو جواب متفاوت می‌دهد.
یک نکتهٔ عملی: کلادفلر robots.txt ما را با max-age=14400، یعنی چهار ساعت، در لبه کش کرده بود، پس اسکنر تا مدتی بعد از به‌روز شدن سرور اصلی هنوز فایل قدیمی را می‌خواند. اگر اصلاحی در اسکن دوباره دیده نشد، پیش از اینکه فکر کنید اصلاح غلط است، هدرهای کش فایل را ببینید.
از چه چیزی گذشتیم و چرا
نُه بررسی قابلیت‌ها. کاتالوگ API ایجنتها را به APIهای شما راهنمایی میکند. کشف OAuth به آن‌ها میگوید توکن را از کجا بگیرند. کارت سرور MCP یک سرور MCP را که اجرا می‌کنید توصیف میکند. سایت عمومی ما هیچ‌کدام از این‌ها را ندارد: API عمومی نداریم و API پنل مدیریت هم چیزی نیست که بخواهیم ایجنتها پیدایش کنند. ساختن این فایل‌ها بدون چیزی پشتشان امتیاز را بالا می‌برد و به هیچ‌کس کمکی نمی‌کند. اگر یک محصول SaaS با API مستند دارید، کار اصلی همین‌جاست و ارزش یک پروژهٔ جدا را دارد.
هدرهای Link. متن راهنمای اسکنر هدرهایی مثل Link: </.well-known/api-catalog>; rel="api-catalog" یا لینک service-doc به مستندات API را پیشنهاد میکند. هر دو به چیزهایی اشاره دارند که نداریم. کنارش گذاشتیم.
DNS-AID. رکوردهای SVCB زیر نام _agents با امضای DNSSEC می‌خواهد. هنوز پیش‌نویس است و برای کشف endpointهای ایجنت است که باز هم چنین چیزی اجرا نمی‌کنیم.
مهم‌ترین بررسی: markdown برای ایجنتها
این بررسی برای سایت محتوایی مهم است، چون همان چیزی را که ایجنت واقعاً می‌خواند عوض میکند. یک صفحهٔ HTML منو، فوتر، اسکریپت و استایل دارد و خود مقاله بخش کوچکی از آن است. کلادفلر میگوید markdown در بعضی موارد تا ۸۰٪ توکن کمتری مصرف میکند.
دو راه برای قبول شدن هست. قابلیت Markdown for Agents خود کلادفلر، HTML را برای درخواست‌های دارای Accept: text/markdown در لبه به markdown تبدیل میکند؛ طبق مستنداتش روی پلن‌های Pro، Business و Enterprise در دسترس است و تا ۶ مبی‌بایت HTML کار میکند. راه دیگر این است که هنگام build از هر صفحه یک نسخهٔ markdown بسازید و وقتی هدر آن را خواست، همان را سرو کنید. برای سایت ایستا راه دوم کار زیادی نیست، چون متن مقاله از قبل در CMS هست. ما همان شب راه build را پیاده کردیم. بعد از build سایت Astro، یک hook کوچک بخش <main> هر صفحه را به markdown تبدیل میکند و کنار index.html یک index.md می‌نویسد. nginx وقتی درخواست text/markdown بخواهد، اول همین فایل را با Vary: Accept سرو میکند. همین مقاله به‌صورت markdown حدود ۱۲ کیلوبایت است، در برابر حدود ۱۲۰ کیلوبایت HTML. در اسکن دوباره، بررسی markdown قبول شد.
دو بررسی متفاوت با نام «آمادگی ایجنت»
این عبارت برای دو پرسش جدا به کار می‌رود. امتیاز کلادفلر می‌پرسد آیا وب‌سایت شما برای ایجنت‌های AI خواندنی و قابل استفاده است. ابزار سنجش آمادگی ایجنت AI ما می‌پرسد آیا سازمان شما برای راه‌اندازی یک ایجنت آماده است: کار محدود، منابع مستند، ارجاع، مسئول تأیید، لاگ و قواعد دسترسی. هر دو مفیدند و هیچ‌کدام چیزی دربارهٔ دیگری نمی‌گوید. برای دیده شدن در پاسخ‌های AI، که پرسش سومی است، راهنمای بهینه‌سازی برای موتورهای مولد را ببینید.
اگر سایت خودتان را اسکن می‌کنید
- پیش از تصمیم بر اساس سطح، تک‌تک بررسی‌های ناموفق را بخوانید. سطح به‌تنهایی نشان نمی‌دهد کدام بررسی‌ها به نوع سایت شما مربوط است.
- اول موارد ارزان و درست را درست کنید: قواعد AI در robots.txt و Content Signals مطابق سیاست واقعی‌تان.
- اگر محتوایتان خوانده میشود، سراغ مذاکرهٔ markdown بروید. بیشترین اثر را روی چیزی دارد که ایجنت دریافت میکند.
- برای چیزهایی که اجرا نمی‌کنید فایل کشف نسازید. کاتالوگ API بدون API فقط نویز است.
- پیش از اسکن دوباره، هدرهای کش robots.txt را ببینید.
پرسش‌های متداول
امتیاز Agent Readiness کلادفلر چیست؟
یک اسکن رایگان در isitagentready.com که کلادفلر در ۱۷ آوریل ۲۰۲۶ راه انداخت. سایت را برای استانداردهایی بررسی میکند که به ایجنت‌های AI کمک می‌کنند آن را پیدا کنند، بخوانند و استفاده کنند، در چهار بخش کشف‌پذیری، محتوا، کنترل دسترسی ربات‌ها و قابلیت‌ها، و یک سطح از ۰ تا ۵ همراه با راه اصلاح هر بررسی ناموفق می‌دهد.
آیا امتیاز پایین به رتبهٔ گوگل آسیب می‌زند؟
نه در اطلاعیهٔ کلادفلر و نه در مستندات گوگل چنین چیزی نیامده است. این امتیاز پشتیبانی از استانداردهای مخصوص ایجنت را می‌سنجد و سیگنال رتبه‌بندی جستجو نیست. robots.txt و نقشهٔ سایت، که آن‌ها را هم بررسی میکند، برای جستجو مهم‌اند و بیشتر سایت‌ها همین حالا قبولشان می‌شوند.
آیا llms.txt در امتیاز حساب میشود؟
بهطور پیشفرض نه. اطلاعیهٔ کلادفلر میگوید اسکن، مذاکرهٔ محتوای markdown را بررسی میکند و llms.txt را فقط وقتی بررسی میکند که آن را به اسکن سفارشی اضافه کنید.
خط Content-Signal در robots.txt چه میکند؟
اعلام میکند محتوای خواندهشده از سایت برای چه کاری استفاده شود: search، ai-input (استفادهٔ لحظهای در پاسخ AI) و ai-train (آموزش مدل)، هر کدام بله یا خیر. این یک اعلام ترجیح است، نه یک مانع فنی؛ پس قواعد Allow و Disallow خزندهها را با آن هماهنگ نگه دارید.
آیا سایت یک کسبوکار کوچک باید دنبال سطح ۵ باشد؟
فقط اگر چیزی دارد که ایجنتها بتوانند استفاده کنند، مثل API، سرور MCP یا سفارش آنلاین. برای سایت معرفی یا وبلاگ، هدفهای مفید قواعد درست robots.txt، Content Signals و نسخهٔ markdown صفحههاست.
