تست آمادگی برای ایجنتهای هوش مصنوعی
upkit.ir برای ایجنتها سطح ۱: حضور پایه در وب.
تست از تهران، ۲۶ آبان ۱۴۰۵، ساعت ۱۵:۰۳
ChatGPT، Claude و هوش مصنوعی گوگل هنوز سایت شما را درست نمیشناسند.
وقتی مشتری از این ابزارها میپرسد از کجا بخرد یا از چه کسی کمک بگیرد، آنها سایتهایی را معرفی میکنند که بتوانند پیدا کنند و بخوانند. امتیاز بالاتر شانس شما را بیشتر میکند، ولی تضمین نیست. در سایت شما ۹ بررسی رد شده است.
- پیدا شدن۲ از ۴
- محتوای خوانا۰ از ۱
- اجازهی رباتها۱ از ۲
- API، ورود و MCP۰ از ۵
پلهی بعد: آشنا با رباتها. برای رسیدن به آن، اینها لازم است:
- اجازهی استفاده از محتوا (Content Signals)
۹ بررسی رد شده است. برای کسی که سایت را میسازد: همهی راهحلها، یکجا.
پیدا شدن ۲ از ۴
نشانیهای ایجنت در هدر Linkرد
صفحهی اصلی هدر Link ندارد. این هدر مثل تابلوی راهنماست: ایجنت بیآنکه صفحه را بخواند، میفهمد فهرست API یا متن سادهی سایت کجاست.
راه درست کردن در پاسخ صفحهی اصلی هدر Link بفرستید، مثلا: Link: </.well-known/api-catalog>; rel="api-catalog", </llms.txt>; rel="describedby"; type="text/plain"
سند اصلیمعرفی سایت به ایجنتها در DNS (DNS-AID)رد
دامنه در DNS رکوردی ندارد که ایجنتها را به سرویسهای سایت برساند: زیر _agents.upkit.ir (در _index، _a2a و _mcp) رکورد SVCB یا HTTPS نیست.
راه درست کردن رکورد SVCB در _index._agents.upkit.ir (یا _mcp و _a2a) بگذارید، مثلا: _mcp._agents.upkit.ir. IN SVCB 1 upkit.ir. alpn="h2" port=443، و DNS دامنه را با DNSSEC امضا کنید تا resolver آن را تاییدشده (AD) برگرداند.
سند اصلیفایل robots.txtقبول
فایل هست و ۱ گروه قانون (User-agent) دارد.
سند اصلینقشهی سایت (sitemap.xml)قبول
https://upkit.ir/sitemap.xml، و در robots.txt هم معرفی شده است.
سند اصلی
محتوای خوانا ۰ از ۱
متن سادهی صفحه برای ایجنتها (Markdown)رد
ایجنت متن ساده خواست (Accept: text/markdown)، ولی سایت باز هم text/html داد. پس ایجنت باید کل کد صفحه را بخواند تا به متن برسد.
راه درست کردن برای درخواستهایی که Accept: text/markdown دارند، متن صفحه را به Markdown تبدیل کنید و با Content-Type: text/markdown برگردانید (HTML برای مرورگرها پیشفرض بماند). اگر سایت پشت کلادفلر است، گزینهی Markdown for Agents همین کار را بیکدنویسی انجام میدهد.
سند اصلی
اجازهی رباتها ۱ از ۲
اجازهی استفاده از محتوا (Content Signals)رد
robots.txt خط Content-Signal ندارد. پس معلوم نیست شما اجازه میدهید محتوای سایت در جستجو، در جواب هوش مصنوعی یا برای آموزش مدل به کار برود یا نه.
راه درست کردن زیر گروه مناسب در robots.txt یک خط Content-Signal بنویسید، مثلا: Content-Signal: search=yes, ai-input=yes, ai-train=no
سند اصلیقانون رباتهای هوش مصنوعی در robots.txtقبول
برای رباتهای هوش مصنوعی قانون جدایی نیست، ولی قانون عمومی (User-agent: *) شامل آنها هم میشود.
سند اصلیامضای رباتهای خود سایت (Web Bot Auth)مربوط نیست
/.well-known/http-message-signatures-directory کلیدی ندارد. این فقط برای سایتی لازم است که خودش ربات یا ایجنت به سایتهای دیگر میفرستد، و در امتیاز حساب نمیشود.
راه درست کردن اگر سایت شما ربات یا ایجنت میفرستد، کلیدهای عمومیاش را به شکل JWKS در /.well-known/http-message-signatures-directory بگذارید و درخواستها را با Signature-Agent و Signature-Input امضا کنید.
سند اصلی
API، ورود و MCP ۰ از ۵
فهرست API (api-catalog)رد
فایل هست، ولی آرایهی linkset ندارد یا هیچ API در آن نیامده است.
راه درست کردن https://upkit.ir/.well-known/api-catalog را با Content-Type: application/linkset+json بگذارید: یک آرایهی linkset که برای هر API یک anchor و پیوندهای service-desc (OpenAPI) و service-doc (راهنما) دارد.
سند اصلینشانی سرور ورود (OAuth یا OpenID)رد
/.well-known/openid-configuration issuer یا endpoint ندارد، /.well-known/oauth-authorization-server issuer یا endpoint ندارد.
راه درست کردن اگر API شما ورود میخواهد، فرادادهی سرور ورود را در /.well-known/oauth-authorization-server (یا /.well-known/openid-configuration) بگذارید: issuer، authorization_endpoint، token_endpoint، jwks_uri، grant_types_supported و response_types_supported.
سند اصلیمشخصات ورود به API (OAuth)رد
/.well-known/oauth-protected-resource فیلد resource ندارد.
راه درست کردن https://upkit.ir/.well-known/oauth-protected-resource را بگذارید: resource (نشانی همین API)، authorization_servers (سرورهای ورود) و scopes_supported؛ و در پاسخهای ۴۰۱، WWW-Authenticate را با resource_metadata بفرستید.
سند اصلیراهنمای ثبتنام ایجنت (auth.md)رد
/auth.md پیدا نشد (کد ۴۰۴).
راه درست کردن فایل https://upkit.ir/auth.md را به شکل Markdown بگذارید که با تیتر H1 شامل auth.md شروع شود (مثلا # auth.md) و بگوید ایجنت چطور ثبتنام کند و کلید بگیرد؛ اگر OAuth دارید، بلوک agent_auth را هم در فرادادهی سرور ورود بگذارید.
سند اصلیکارت سرور MCPرد
/.well-known/mcp/server-card.json نام سرور (serverInfo.name) ندارد؛ در دو نشانی دیگر هم کارتی نبود.
راه درست کردن اگر سرور MCP دارید، کارتش را در https://upkit.ir/.well-known/mcp/server-card.json بگذارید: serverInfo (name و version)، transport با endpoint (مثلا /mcp) و capabilities.
سند اصلیکارت ایجنت A2Aرد
/.well-known/agent-card.json نام یا مهارت ندارد. در امتیاز حساب نمیشود.
راه درست کردن اگر ایجنت دارید، کارتش را در https://upkit.ir/.well-known/agent-card.json بگذارید: name، version، description، supportedInterfaces (نشانی و پروتکل)، capabilities و skills (هر کدام با id، name و description).
سند اصلیفهرست مهارتها (Agent Skills)رد
فهرست هست، ولی آرایهی skills ندارد یا خالی است.
راه درست کردن فهرست مهارتها را در https://upkit.ir/.well-known/agent-skills/index.json بگذارید: $schema برابر https://schemas.agentskills.io/discovery/0.2.0/schema.json و آرایهی skills که هر مهارت name، type، description، url و digest (sha256) دارد.
سند اصلیکارهای سایت برای ایجنت داخل مرورگر (WebMCP)رد
صفحه هیچ کاری را به ایجنت مرورگر معرفی نکرده است: در HTML صفحه نه فرمی با toolname هست، نه ثبت ابزار با modelContext (از روی کد صفحه، بدون مرورگر).
راه درست کردن در صفحهی اصلی، کارهای اصلی سایت (جستجو، ثبت سفارش، فرم تماس) را با document.modelContext.registerTool() به ایجنتی که داخل مرورگر کار میکند معرفی کنید (name، description، inputSchema و execute)، یا به فرمهای موجود ویژگی toolname و tooldescription بدهید.
سند اصلیفهرست آنچه سایت به ایجنتها میدهد (ARD)رد
/.well-known/ai-catalog.json specVersion ندارد.
راه درست کردن فایل https://upkit.ir/.well-known/ai-catalog.json را با Content-Type: application/json و Access-Control-Allow-Origin: * بگذارید: specVersion، host (displayName و identifier) و آرایهی entries که هر مورد identifier (به شکل urn:air:upkit.ir:...)، displayName، type و دقیقا یکی از url یا data دارد.
سند اصلی
خرید توسط ایجنت: نشانهای از فروشگاه در این سایت ندیدیم. این گروه اختیاری است و در امتیاز نمیآید.
بیرون از امتیاز. دو چیزی که ما جدا میسنجیم.
فایل llms.txtرد
/llms.txt پیدا نشد (کد ۴۰۴).
راه درست کردن در ریشهی سایت فایل متنی llms.txt بگذارید: خط اول یک عنوان Markdown (# نام سایت)، بعد یک خط معرفی که با > شروع میشود، و فهرست پیوند مهمترین صفحهها؛ با Content-Type: text/plain یا text/markdown.
سند اصلی
معیارهای بخش آمادگی برای هوش مصنوعی، مشابه سرویس isitagentready.com است.
۱۰ دقیقه مشاورهی رایگان
نتیجه را با هم بخوانیم تا بدانید کدام ایراد برای سایت شما مهمتر است.
بیشتر
تست آمادگی سایت برای هوش مصنوعی؛ ثبت سایت در چت جی پی تی، MCP و llms.txt
شما میخواهید وقتی کسی از ChatGPT، Claude یا هوش مصنوعی گوگل سوالی میپرسد، سایت شما را پیشنهاد کند. تست آمادگی سایت برای هوش مصنوعی نشان میدهد این دستیارها و ایجنتهای دیگر چقدر راحت سایت شما را پیدا میکنند، میخوانند و با آن کار میکنند. اینجا قدم به قدم میگوییم ایجنت چیست و چطور به سایت سر میزند، «ثبت سایت در چت جی پی تی» واقعا یعنی چه، و MCP و llms.txt چیستاند. بعد ۲۲ بررسی را یکییکی به زبان ساده باز میکنیم، برای سه نوع ربات تصمیم درست را میگوییم و ترتیب کار را برای سایت وردپرسی میچینیم.
ایجنت هوش مصنوعی چیست و چه فرقی با ربات گوگل دارد
ایجنت هوش مصنوعی (AI Agent) برنامهای است که روی یک مدل زبانی مثل ChatGPT یا Claude کار میکند. فرقش با یک چت ساده این است که فقط جواب نمینویسد؛ برای رسیدن به جواب کار هم میکند. جستجو میکند، صفحه باز میکند، متن را میخواند، قیمتها را کنار هم میگذارد و گاهی فرمی را پر میکند. مثلا فرض کنید کسی از ChatGPT میپرسد «کدام فروشگاه کفش دویدن سایز ۴۲ زیر سه میلیون دارد؟». پشت صحنه چند سایت باز میشود و جواب از روی همانها ساخته میشود.
ربات گوگل صفحهها را از قبل فهرست میکند. بعدا فهرستی از پیوندها نشان میدهد و انتخاب با خود آدم است. ایجنت فرق دارد. معمولا همان لحظه میآید، برای یک سوال مشخص، و خودش تصمیم میگیرد کدام صفحه را بخواند. اگر سایت شما برایش سختخوان یا بسته باشد، سراغ سایت بعدی میرود. کسی هم به شما خبر نمیدهد.
این کار دیگر کار چند نفر محدود نیست. پژوهش مشترک OpenAI و اقتصاددانهای هاروارد که NBER منتشر کرده است این را با عدد نشان میدهد: سهم پیامهایی از ChatGPT که دنبال اطلاعاتاند، از ۱۴٪ در ژوئیهی ۲۰۲۴ به ۲۴٪ در یک سال بعد رسیده است. نویسندهها این استفاده را جانشینی بسیار نزدیک برای جستجوی وب میدانند.
ایجنت چطور به یک سایت سر میزند
بیشتر ایجنتها، با کمی تفاوت، یک مسیر را میروند:
- در میزند. اول فایل robots.txt را در ریشهی سایت میخواند تا بداند کجا اجازه دارد برود. این فایل قفل نیست؛ بیشتر شبیه تابلویی است که روی در زدهاند. خود استاندارد RFC 9309 میگوید قانونهایش مجوز دسترسی نیست و فقط از رباتها خواسته میشود رعایتش کنند.
- نقشه را برمیدارد. از نقشهی سایت (sitemap)، هدرهای پاسخ صفحه و حتی رکوردهای DNS میفهمد سایت چه صفحهها و چه امکاناتی دارد.
- میخواند. اگر سایت نسخهی متنی تمیز (Markdown) بدهد، همان را میگیرد. اگر ندهد، باید متن اصلی را از میان HTML پر از منو و اسکریپت بیرون بکشد.
- دنبال ابزار میگردد. مثلا برای پیدا کردن قیمت یک محصول، دنبال راه رسمیاش میگردد: یک API، یک سرور MCP یا فرمی که برای ایجنتها نشانهگذاری شده باشد.
- کار را تمام میکند. اگر سایت راهی برایش گذاشته باشد، با اطلاعات دقیق خود شما؛ اگر نه، با حدس.
تست آمادگی سایت برای هوش مصنوعی همین پنج قدم را در سایت شما میسنجد.
ثبت سایت در چت جی پی تی و هوش مصنوعی: فرمی در کار نیست
خیلیها همانطور که سایت را در سرچ کنسول گوگل ثبت میکنند، دنبال جایی برای ثبت سایت در چت جی پی تی یا ثبت سایت در هوش مصنوعی میگردند. این با «ثبتنام در سایت ChatGPT» فرق دارد. آن یعنی ساختن حساب کاربری در خود ChatGPT؛ اینجا حرف از دیده شدن سایت شماست. جواب کوتاه این است: چنین فرمی وجود ندارد. ChatGPT، Claude و Perplexity سایتها را با رباتهای خودشان پیدا میکنند و میخوانند. کاری که از دست شما برمیآید این است که در را برای همین رباتها باز کنید و راه را برایشان روشن کنید.
سند رسمی OpenAI دربارهی رباتهایش این را صریح میگوید: سایتی که OAI-SearchBot را ببندد، در جوابهای جستجوی ChatGPT نشان داده نمیشود و فقط ممکن است به شکل پیوند ناوبری بیاید. همان سند میگوید بعد از تغییر robots.txt، حدود ۲۴ ساعت طول میکشد تا سیستمهای جستجوی OpenAI خودشان را با آن هماهنگ کنند. پس «ثبت» در عمل سه چیز است:
- اجازه. robots.txt رباتهای جستجوی هوش مصنوعی را نبندد، و فایروال یا CDN هم بیخبر از شما جلویشان را نگیرد.
- پیدا شدن. نقشهی سایت کامل باشد و در robots.txt معرفی شده باشد، تا ربات بداند چه صفحههایی هست.
- خوانا بودن. متن اصلی صفحه بیدردسر به دست ربات برسد، نه پشت اسکریپت یا صفحهی چالش.
همین تست هر سه را میسنجد. اگر کسی «ثبت سایت در چت جی پی تی» را به عنوان خدمتی با فرم و تاییدیه به شما فروخت، بدانید چنین فرمی از طرف OpenAI وجود ندارد. کار واقعی همین باز کردن در و روشن کردن راه است. بعد از آن، اینکه سایت شما در جوابها انتخاب شود یا نه، به محتوا و اعتبار سایت بستگی دارد.
تست آمادگی سایت برای هوش مصنوعی دقیقا چه میسنجد
این سنجش ۲۲ بررسی در پنج گروه دارد. خروجیاش یک سطح از ۰ تا ۵ است و یک امتیاز از ۰ تا ۱۰۰. برای هر ایراد هم یک دستور آماده برای برنامهنویس میدهد، با راه درست کردنش در وردپرس، Nginx و CDNهای رایج در ایران. منبع بررسیها درست بالای همین مقاله آمده است.
تست فقط چیزهایی را میخواند که هر کسی روی اینترنت میبیند: صفحهی اصلی، فایلهای عمومی ریشهی سایت مثل robots.txt و sitemap.xml، مسیرهای استاندارد زیر /.well-known/ و رکوردهای DNS زیر نام _agents دامنه.
امتیاز ساده حساب میشود: تعداد بررسیهای قبولشده تقسیم بر تعداد بررسیهای شمردهشده، در چهار گروه اول. بررسیای که برای سایت شما بیاثر است، در مخرج نمیآید. چند بررسی هم فقط نشان داده میشوند و در امتیاز نیستند: آنهایی که ورود یا توکن میخواهند (کشف OAuth، منبع محافظتشده و auth.md)، گروه خرید، و دو بررسی کارت A2A و AP2. همین سایت (team.sefid.dev) در این تست سطح ۵ دارد؛ نتیجهاش را ببینید. سطح از امتیاز جداست و هر پله شرط خودش را دارد.
اگر سطح سایت شما پایین است، عادی است. کلادفلر هنگام معرفی این ابزار ۲۰۰ هزار دامنهی پربازدید دنیا را سنجید. ۷۸٪ آنها robots.txt داشتند، ولی فقط ۴٪ Content Signals داشتند و ۳٫۹٪ نسخهی Markdown. کارت سرور MCP و کاتالوگ API هم روی هم در کمتر از ۱۵ سایت از کل این فهرست دیده شد. ما هم در ۹ مهر ۱۴۰۵، ۲۰ سایت پربازدید ایرانی را با ابزاری بیرون از ایران سنجیدیم. ۴ سایت اصلا باز نشد. ۱۶ سایت دیگر همه در سطح ۰ یا ۱ بودند و بیشترین امتیاز ۳۳ بود. پس هر قدمی که بردارید، شما را از بیشتر سایتها جلو میبرد.
۲۲ بررسی تست آمادگی سایت برای هوش مصنوعی، به زبان ساده
گروه اول: پیدا شدن (۴ بررسی)
- robots.txt. فایلی در ریشهی سایت که به رباتها میگوید کجا بروند و کجا نروند. قبول میشود اگر سه شرط داشته باشد: با کد ۲۰۰ جواب بدهد، صفحهی HTML نباشد و دستکم یک خط User-agent داشته باشد.
- نقشهی سایت. فهرست همهی صفحههای سایت، به شکلی که ماشین بخواند. بهترین جای معرفیاش یک خط Sitemap در همان robots.txt است.
- هدر Link. چند خط کوتاه در پاسخ صفحهی اصلی (استاندارد RFC 8288). این خطها میگویند خلاصهی سایت، API یا نسخهی Markdown کجاست. هدرهایی مثل preload که فقط به کار مرورگر میآیند، حساب نمیشوند.
- DNS-AID. رکوردهایی در DNS دامنه، زیر نام _agents. این رکوردها پیش از باز شدن سایت میگویند سرور MCP یا ایجنت سایت کجاست. باید با DNSSEC امضا شده باشند. DNSSEC امضای دیجیتالی است که جواب جعلی DNS را آشکار میکند.
گروه دوم: محتوای خوانا (۱ بررسی)
- نسخهی Markdown. فرض کنید ایجنت بگوید «Markdown میخواهم» (با هدر Accept: text/markdown). سایت آماده به جای HTML همان متن صفحه را تمیز و بیمنو میدهد؛ مرورگرها همان HTML همیشگی را میگیرند. فایدهاش این است که متن خیلی کوتاهتر میشود. صفحهی اصلی همین سایت در ۹ مهر ۱۴۰۵ به صورت HTML ۱۵۴٬۷۴۲ بایت بود و نسخهی Markdown آن ۳۹٬۴۰۱ بایت، حدود ۵٬۶۷۴ توکن. کلادفلر هم در یک نمونه از وبلاگ خودش ۱۶٬۱۸۰ توکن HTML را به ۳٬۱۵۰ توکن Markdown رساند. توکن واحد شمارش متن در مدلهاست و هزینهی خواندن ایجنت با آن حساب میشود.
گروه سوم: دسترسی رباتها (۳ بررسی)
- قانون رباتهای هوش مصنوعی. robots.txt برای رباتهایی مثل GPTBot و ClaudeBot، با اسم خودشان، قانون داشته باشد. یک گروه عمومی برای همهی رباتها هم قبول میشود، ولی تصمیم جدا بهتر است؛ پایینتر دلیلش را میگوییم.
- Content Signals. یک خط در robots.txt که میگوید محتوای شما برای سه کار آزاد است یا نه: search (جستجو و نشان دادن پیوند)، ai-input (استفاده در جواب لحظهای هوش مصنوعی) و ai-train (آموزش مدل). این همان سه نشانهای است که کلادفلر در معرفی این سیاست تعریف کرده است.
- Web Bot Auth. این بررسی فقط برای سایتی است که خودش ربات میفرستد و میخواهد رباتهایش با امضا شناخته شوند. اگر سایت شما ربات نمیفرستد، این بررسی «بیاثر» است و در امتیاز نمیآید.
گروه چهارم: API، ورود و MCP (۹ بررسی)
این گروه بزرگترین و تازهترین گروه است و بیشترش دربارهی MCP است. MCP را پایینتر، در بخش «MCP چیست»، جدا باز میکنیم.
- کاتالوگ API. فایلی در مسیر /.well-known/api-catalog که APIهای سایت را معرفی میکند (استاندارد RFC 9727).
- کشف OAuth و منبع محافظتشدهی OAuth. دو فایل استاندارد. میگویند ایجنت چطور از طرف یک کاربر وارد حساب او شود و برای کدام API توکن بگیرد. فقط برای سایتی معنا دارند که حساب کاربری و API خصوصی دارد.
- auth.md. متنی ساده که روش ثبتنام و ورود ایجنت را توضیح میدهد. هنوز آزمایشی است.
- کارت سرور MCP. فایلی در /.well-known/mcp/server-card.json (یا server-cards.json، یا /.well-known/mcp.json) که میگوید سرور MCP سایت کجاست و چه ابزارهایی دارد. اگر کارتی با نام سرور پیدا شود، قبول میشود.
- کارت ایجنت A2A. پروتکلی که گوگل ساخت و حالا پروژهی بنیاد لینوکس است. با آن، ایجنت کاربر با ایجنت خود سایت حرف میزند. در امتیاز پیشفرض نیست.
- فهرست مهارتها (Agent Skills). دستورهای آمادهای که سایت برای ایجنتها نوشته است، مثل «در این سایت محصول را اینطور پیدا کن».
- WebMCP. با آن، فرمها و کارهای صفحه به شکل ابزار به ایجنتهای داخل مرورگر معرفی میشوند. چند ویژگی ساده کافی است، مثل toolname روی فرم یا ثبت ابزار با modelContext.registerTool در کد صفحه.
- کاتالوگ ARD. یک فایل که همهی چیزهایی را که سایت به ایجنتها میدهد، یکجا فهرست میکند.
گروه پنجم: خرید توسط ایجنت (۵ بررسی، بیرون از امتیاز)
x402، MPP، UCP، ACP و AP2 پروتکلهاییاند که ایجنت با آنها از طرف کاربر پرداخت یا خرید میکند. همه به راههای پرداخت بینالمللی تکیه دارند. برای همین، فروشگاهی که با درگاههای شاپرکی کار میکند امروز کاربردی از آنها ندارد. این گروه فقط برای سایتی نشان داده میشود که شبیه فروشگاه است، و در امتیاز نمیآید.
MCP چیست، سرور MCP چیست و web mcp چیست
MCP (کوتاهشدهی Model Context Protocol) در هوش مصنوعی زبانی مشترک است که دستیارها با آن به ابزارهای بیرونی وصل میشوند. مثل پریز برق استاندارد: هر دستگاهی که دوشاخهی استاندارد دارد، به آن میخورد. بدون MCP، هر دستیار باید برای هر سایت و هر سرویس راه جدایی یاد بگیرد. با MCP، سایت یک بار ابزارهایش را معرفی میکند و هر دستیاری که MCP بلد است میتواند صدایشان بزند. (اگر «mcp» را جستجو کنید، به مفصل انگشت در پزشکی و کلید برق هم میرسید؛ اینجا فقط معنای هوش مصنوعیاش منظور است.)
Anthropic این پروتکل را ساخت و در ۹ دسامبر ۲۰۲۵ (۱۸ آذر ۱۴۰۴) به Agentic AI Foundation سپرد. این بنیاد صندوقی زیر نظر بنیاد لینوکس است که Anthropic، Block و OpenAI با هم بنیانش گذاشتند. به گفتهی همان اعلام، بیش از ۱۰ هزار سرور عمومی MCP فعال است و ChatGPT، Cursor، Gemini، Microsoft Copilot، VS Code و Claude از آن پشتیبانی میکنند.
سرور MCP برنامهای است که ابزارها را عرضه میکند. برای یک سایت، هر ابزار یک کار مشخص است: «محصول با این مشخصات را پیدا کن»، «قیمت و موجودی این کالا چیست»، «شرایط ارسال چیست». دستیار دیگر لازم نیست از روی HTML صفحه حدس بزند؛ از ابزار رسمی سایت میپرسد و جواب دقیق میگیرد. اینکه کدام ابزار ساخته شود، تصمیم شماست. قاعدهی محتاطانه این است: فقط ابزارهای خواندنی و عمومی باز شوند، یعنی همان چیزهایی که هر بازدیدکنندهای میبیند.
کارت سرور MCP فایلی است که میگوید سرور کجاست. تست ما سه نشانی را میپرسد (/.well-known/mcp/server-card.json، /.well-known/mcp/server-cards.json و /.well-known/mcp.json). اگر کارتی با نام سرور پیدا کند، این بررسی را قبول میکند. شکل این کارت هنوز پیشنهادی در مخزن خود MCP است، نه بخش نهایی پروتکل.
web mcp چیست؟ WebMCP همان ایده است، برای ایجنتهایی که داخل مرورگر کار میکنند. به تعریف سند خودش، یک رابط جاوااسکریپت تازه است. با آن، سازندهی سایت کارهای صفحه را به شکل «ابزار» و با توضیح زبان طبیعی به ایجنت معرفی میکند. سادهترین شکلش یک ویژگی toolname روی فرم جستجو یا تماس است. این سند در ۳۰ سپتامبر ۲۰۲۶ گزارش پیشنویس یک گروه انجمنی W3C است و خودش میگوید نه استاندارد W3C است و نه در مسیر استاندارد. تست ما WebMCP را از روی کد صفحه و اسکریپتهای خود سایت پیدا میکند و مرورگر باز نمیکند. پس ابزاری که فقط با کدی از جای دیگر ثبت شود، از چشمش میافتد. ابزارهایی که صفحه را در مرورگر باز میکنند، آن را هم میبینند. این فرق کوچک یکی از دلیلهای تفاوت عدد ابزارهاست.
شش پله: سطح سایت شما یعنی چه
نتیجهی تست آمادگی سایت برای هوش مصنوعی یکی از شش پله است. هر پله شرط پلهی قبل را هم میخواهد:
- سطح ۰، آماده نیست: کمتر از دو تا از این سه: robots.txt، نقشهی سایت، هدر Link.
- سطح ۱، حضور پایه در وب: دو تا از همان سه. بیشتر سایتها همینجا هستند.
- سطح ۲، آشنا با رباتها: قانون رباتهای هوش مصنوعی و Content Signals هم هست.
- سطح ۳، خوانا برای ایجنتها: نسخهی Markdown هم داده میشود.
- سطح ۴، وصل به ایجنتها: دستکم یکی از این سه هست: کارت سرور MCP، فهرست مهارتها، کاتالوگ API.
- سطح ۵، ساخته برای ایجنتها: دو تا از این سه: Web Bot Auth رد نشده باشد، هر سه راه اتصال پلهی ۴ باشد، فرادادهی ورود (OAuth یا auth.md) باشد. شرط اول برای سایتی که ربات نمیفرستد، خودبهخود برقرار است. همین سایت با هر سه راه اتصال به این پله رسیده است.
کوتاهترین راه از سطح ۰ تا ۲ تقریبا همه در robots.txt است، یعنی چند خط متن. پلهی ۳ به سرور یا CDN بستگی دارد. پلههای ۴ و ۵ کار برنامهنویسی واقعی میخواهند.
سه نوع ربات هوش مصنوعی در robots.txt، سه تصمیم جدا
رایجترین اشتباه این است که همهی رباتهای هوش مصنوعی را یکی بدانیم. خود شرکتها آنها را سه دسته کردهاند، و هر دسته تصمیم خودش را میخواهد.
رباتهای جستجو (OAI-SearchBot، Claude-SearchBot، PerplexityBot) صفحهها را فهرست میکنند تا دستیار در جستجو از آنها جواب بدهد. مستندات OpenAI صریح است: سایتی که OAI-SearchBot را ببندد، در جوابهای جستجوی ChatGPT نشان داده نمیشود و فقط ممکن است به شکل پیوند ناوبری بیاید. Anthropic هم میگوید بستن Claude-SearchBot ممکن است دیده شدن سایت در جوابها را کم کند. Perplexity میگوید PerplexityBot برای نشان دادن و پیوند دادن سایتهاست، نه آموزش مدل. تصمیم درست برای بیشتر کسبوکارها: باز.
رباتهای آموزش مدل (GPTBot، ClaudeBot، Google-Extended، Applebot-Extended، CCBot و چند تای دیگر) محتوا را برای آموزش نسلهای بعدی مدل جمع میکنند. بستنشان شما را از جوابهای جستجو حذف نمیکند. گوگل هم در مستندات خزندههایش میگوید Google-Extended روی حضور در جستجوی گوگل اثری ندارد و عامل رتبه نیست. اینجا هر دو انتخاب درست است، به شرطی که آگاهانه باشد.
درخواستهای کاربر (ChatGPT-User، Claude-User، Perplexity-User) وقتی میآیند که کسی در گفتگو نشانی شما را میدهد، یا از دستیار میخواهد صفحهای را برایش بخواند. OpenAI میگوید چون این درخواست را کاربر شروع کرده، ممکن است قانون robots.txt دربارهاش اعمال نشود. Perplexity هم میگوید Perplexity-User معمولا robots.txt را نادیده میگیرد. بستن این دسته یعنی مشتریای که خودش سراغ شما آمده، دست خالی برمیگردد.
خط Content-Signal همین تصمیمها را به زبان ماشین مینویسد. مثلا robots.txt همین سایت جستجو و جواب دادن را آزاد اعلام میکند و آموزش مدل را بسته. به گفتهی OpenAI، اعمال تغییر robots.txt در جستجو حدود ۲۴ ساعت طول میکشد.
کلادفلر از ۱۰ تیر ۱۴۰۴ برای هر دامنهی تازه میپرسد رباتهای هوش مصنوعی را راه بدهد یا نه، و پیشفرضش بستن است. اگر سایت شما پشت کلادفلر است و این تنظیم را ندیدهاید، ممکن است robots.txt یک چیز بگوید و CDN کار دیگری بکند.
کدام استاندارد جاافتاده است و کدام پیشنویس
همهی ۲۲ بررسی یک وزن ندارند. بعضی سالهاست کار میکنند و بعضی چند ماه پیش نوشته شدهاند:
- استاندارد رسمی: robots.txt (RFC 9309، سال ۲۰۲۲)، نقشهی سایت، هدر Link، کاتالوگ API (RFC 9727، سال ۲۰۲۵) و دو فایل OAuth.
- پرکاربرد و در بنیادی بیطرف: MCP و A2A. هنوز تغییر میکنند، ولی دیگر مال یک شرکت تنها نیستند.
- پیشنویس و آزمایشی: DNS-AID (پیشنویسی فردی که هنوز هیچ گروه کاری IETF آن را نپذیرفته)، Content Signals، کارت سرور MCP، فهرست مهارتها، ARD، auth.md، Web Bot Auth و WebMCP. WebMCP در سند خودش گزارش پیشنویس یک گروه انجمنی W3C است و صریحا میگوید نه استاندارد W3C است و نه در مسیر استاندارد. گوگل آزمایشش را از نسخهی ۱۴۹ مرورگر Chrome شروع کرده است.
قاعدهی عملی: استانداردهای پایدار را محکم بسازید. پیشنویسها را ارزان و برگشتپذیر اضافه کنید، تا اگر عوض شدند، برداشتنشان آسان باشد.
llms.txt چیست و تست ما دربارهاش چه میگوید
llms.txt فایلی متنی در ریشهی سایت است، با زبان Markdown. در چند خط به مدلهای زبانی میگوید سایت چیست و مهمترین صفحههایش کجاست. جرمی هاوارد آن را در ۳ سپتامبر ۲۰۲۴ (۱۳ شهریور ۱۴۰۳) پیشنهاد کرد و نسخهی دوم پیشنهاد در اوت ۲۰۲۶ منتشر شد. طبق همان سند، تنها بخش اجباری یک عنوان H1 با نام سایت است. بعد از آن، یک خلاصهی کوتاه در قالب نقلقول (خطی که با > شروع میشود) پیشنهاد شده است، و بعد فهرستهایی از پیوند صفحههای مهم زیر عنوانهای H2.
یک نمونهی کوچک فارسی این شکلی است: خط اول «# فروشگاه کفش نمونه»، خط بعد «> فروشگاه کفش دویدن و کوهنوردی، ارسال به همهی شهرها»، و بعد زیر «## صفحههای مهم» چند خط مثل «- شرایط ارسال».
تست ما مثل یک llms txt checker ساده کار میکند. فایل /llms.txt را میخواهد و سه چیز را نگاه میکند: با کد ۲۰۰ جواب بدهد، صفحهی HTML نباشد و اولین خط غیرخالیاش یک عنوان Markdown («# نام سایت») باشد. اگر هر سه درست بود، قبولش میکند و نام و تعداد پیوندهای فهرستش را نشان میدهد. اگر فایل باشد ولی با عنوان شروع نشود، همین را میگوید. این بررسی در نتیجه نشان داده میشود، ولی در امتیاز نمیآید، چون جزو ۲۲ بررسی استاندارد این تست نیست.
چرا در امتیاز نیست؟ چون هیچ شرکت بزرگی نگفته است از آن استفاده میکند. جان مولر از گوگل در ژوئن ۲۰۲۵ گفته بود هیچ سیستم هوش مصنوعیای فعلا llms.txt را استفاده نمیکند. گوگل هم در راهنمای ویژگیهای هوش مصنوعی جستجو صریحا میگوید برای آمدن در AI Overviews فایل متنی هوش مصنوعی لازم نیست. ساختنش ارزان و بیضرر است، و برای ایجنتهای برنامهنویسی و ابزارهایی که سراغش میروند مفید است. ولی جای هیچکدام از بررسیهای بالا را نمیگیرد.
مشکل خاص سایتهای ایرانی: ایجنتها از بیرون ایران میآیند
همهی این بررسیها یک فرض دارند: ایجنت بتواند سایت را باز کند. برای سایت ایرانی این فرض همیشه درست نیست. سرورهای ChatGPT، Claude و Perplexity بیرون از ایراناند. Anthropic ایران را در فهرست کشورهای پشتیبانیشده ندارد. OpenAI هم فهرست نشانیهای IP ربات ChatGPT-User را منتشر میکند (۲۳۰ بازه در ۳ مهر ۱۴۰۵). بازههایی که ما نمونه گرفتیم، به دیتاسنترهای بیرون از ایران میرسید، از جمله Microsoft در آمریکا.
طرف دیگر ماجرا خود سایتهای ایرانیاند. گزارش CIRA نشان میدهد بخشی از سایتهای دولتی، بانکی و مالی ایران فقط به IP داخل ایران جواب میدهند. بانک مرکزی دلیلش را جلوگیری از حملهی سایبری گفته است. همان ۴ سایتی هم که در اندازهگیری ما برای اسکنر بیرون از ایران باز نشدند، نمونهی همین مشکلاند.
نتیجه ساده و تلخ است: سایتی که از بیرون ایران باز نمیشود، حتی با ۲۲ بررسی سبز، برای ChatGPT و Claude وجود ندارد. این را هم صادقانه بگوییم: تست آمادگی سایت برای هوش مصنوعی ما از سروری در تهران انجام میشود. پس نمیتواند ببیند سایت از بیرون باز میشود یا نه. کاری که میکند این است: صفحهی اصلی را سه بار میخواهد، با شناسهی ChatGPT-User، Claude-User و GPTBot، و میبیند سایت جواب درست میدهد یا نه. اگر کد جواب بیرون از ۲۰۰ تا ۳۹۹ باشد، یا ابتدای جواب نشانههای صفحهی چالش داشته باشد (مثل «Just a moment» یا captcha)، رد حساب میشود. این «ورود واقعی» را بیرون از امتیاز نشان میدهیم.
برای اینکه دسترسی از بیرون را هم بسنجید، همان سایت را با ابزاری بیرون از ایران هم تست کنید. اگر باز نشد، از هاست یا CDN بپرسید قانونی مثل «فقط IP ایران» روشن است یا نه. باز کردنش تصمیم خود شماست؛ فقط بدانید هزینهاش دیده نشدن برای دستیارهاست.
ترتیب درست کار برای یک سایت وردپرسی
ترتیب کار را برای وردپرس و ووکامرس میچینیم. ترتیب مهم است، چون مثلا ساختن سرور MCP برای سایتی که فایروالش ایجنتها را میبندد، پول دور ریختن است.
- اول اندازه بگیرید. سایت را با تست آمادگی سایت برای هوش مصنوعی همین صفحه تست کنید و نتیجه را با تاریخ نگه دارید.
- در را باز کنید. قانونهای فایروال و CDN را ببینید: بخش AI Crawl Control در کلادفلر، قانونهای فایروال در آروان، هر افزونهی امنیتی وردپرس که رباتها را میبندد، و دسترسی از بیرون ایران.
- robots.txt واقعی بسازید. robots.txt مجازی که وردپرس خودش میسازد، قانون رباتهای هوش مصنوعی ندارد. با افزونهی سئو یا یک فایل واقعی در ریشهی هاست، سه گروه ربات را جدا بنویسید. خط Content-Signal و خط Sitemap را هم اضافه کنید. همین قدم معمولا سایت را به سطح ۲ میرساند.
- نقشهی سایت را درست کنید. ببینید فقط نشانیهای canonical (نشانی اصلی هر صفحه) در آن باشد، نه صفحههای تکراری یا حذفشده. اگر این دو قدم برایتان تازه است، سئو تکنیکال همینها را کاملتر توضیح میدهد.
- هدر Link بفرستید. با یک افزونهی کوچک یا یک قانون Nginx.
- Markdown بدهید. قابلیت Markdown for Agents کلادفلر فقط در پلنهای پولی Pro، Business و Enterprise است. پس برای بیشتر سایتهای ایرانی این کار روی خود سرور یا با افزونه انجام میشود. افزونهی کش صفحه باید نسخهی HTML و Markdown را جدا نگه دارد؛ وگرنه به آدم Markdown میرسد و به ایجنت HTML.
- llms.txt بنویسید، اگر خواستید. افزونهی Yoast SEO میتواند llms.txt بسازد، ولی خروجیاش فهرست صفحههاست. یک متن فارسی کوتاه که خودتان بنویسید، مفیدتر است.
- ابزار بسازید، با احتیاط. وردپرس ۶٫۹ در هستهاش Abilities API را دارد. MCP Adapter رسمی وردپرس کارهای ثبتشده در آن را به ابزار MCP تبدیل میکند. هر کار پیشفرض خصوصی است تا خودتان عمومیاش کنید. MCP خود ووکامرس را برای عموم باز نکنید. مستندات ووکامرس آن را «پیشنمایش توسعهدهنده» و برای مدیریت فروشگاه میداند، و خودش دربارهی اطلاعات شخصی مشتریها هشدار میدهد. برای خریدار فقط ابزارهای خواندنی بسازید: جستجوی محصول، قیمت و موجودی، شرایط ارسال.
- کارتها را منتشر کنید. کارت سرور MCP، کاتالوگ API، فهرست مهارتها و کاتالوگ ARD چند فایل JSON در /.well-known/ هستند. WebMCP را هم روی فرم جستجو یا تماس بگذارید.
- DNS-AID را آخر بگذارید. این کار فقط وقتی شدنی است که DNS شما رکورد SVCB و امضای DNSSEC داشته باشد و ثبتکنندهی دامنه رکورد DS را بپذیرد. برای دامنهی ir این را باید در پنل ثبتکننده دید. اگر نشد، فقط یک بررسی پیشنویس کم دارید.
- دوباره تست کنید. با هر دو ابزار، و نتیجه را کنار اندازهگیری روز اول بگذارید.
پیش از هر تغییر بزرگ پشتیبان بگیرید. بعد از آن سرعت سایت را دوباره تست کنید تا مطمئن شوید چیزی کند نشده است. اگر هاست اجازهی تغییر هدر و فایل ریشه را نمیدهد، شاید وقت سرور جدا برای وردپرس رسیده باشد.
تست آمادگی سایت برای هوش مصنوعی چه چیزهایی را نمیگوید
این بررسیها عامل رتبهی گوگل نیستند. گوگل در راهنمای ویژگیهای هوش مصنوعی جستجو میگوید برای آمدن در AI Overviews و AI Mode هیچ فایل ماشینخوان یا نشانهگذاری تازهای لازم نیست؛ همان ایندکس شدن و سئوی درست کافی است. تست صفحههای داخلی را هم نمیبیند. دربارهی پیشنهاد شدن در جواب ChatGPT هم چیزی نمیگوید؛ پرسش اول پایین همین را باز میکند.
خودتان، یا با کمک تیم سفید
همهی کارهای بالا را خودتان هم میتوانید انجام دهید. نتیجهی تست آمادگی سایت برای هوش مصنوعی برای هر بررسی ردشده، راه درست کردن و دستور آماده دارد. این دستورها را میشود یکجا کپی کرد و به برنامهنویس یا ایجنت کدنویسی سپرد. این کمک بیشرط است، حتی اگر هیچوقت چیزی از ما نخرید.
اگر ترجیح میدهید کار را بسپارید، خدمت آمادهسازی سایت برای ایجنتهای هوش مصنوعی همین مسیر را انجام میدهد: ۱۰ میلیون تومان، یک بار، در ۷ روز، با ۷ روز پشتیبانی رایگان. این خدمت از ۱۵ بررسی شمردهشده، ۱۲ تا را پوشش میدهد. ورود ایجنت به جای کاربر (دو فایل OAuth و auth.md) پروژهی جداست. اگر همهی موردهای مربوط به سایت شما انجام شود، با همان فرمول امتیاز ۸۰ میشود و بدون DNS-AID ۷۳، که همان عدد همین سایت است. قبل و بعد کار را با هر دو ابزار میسنجیم. تیم سفید این مسیر را اول روی سایت خودش رفته است.
پرسشهای رایج
امتیاز بالا یعنی در جواب ChatGPT میآیم؟
نه بهتنهایی. باز بودن در برای ربات جستجوی ChatGPT لازم است، چون OpenAI خودش میگوید سایتی که OAI-SearchBot را ببندد در جوابهای جستجو نمیآید. ولی کافی نیست. امتیاز بالا یعنی ایجنت در راه رسیدن به سایت شما مانعی ندارد. این شانس شما را بالا میبرد، ولی تضمین نمیکند. اینکه ایجنت شما را انتخاب کند، به محتوا، اعتبار، قیمت و خیلی چیزهای دیگر هم بستگی دارد.
چرا عدد این تست با ابزارهای خارجی فرق میکند؟
بررسیها یکی است؛ جای تست و شیوهی شمارش نه. تست ما از تهران انجام میشود و ابزارهای خارجی از بیرون ایران. مثلا سایتی که فقط به IP ایران جواب میدهد، یا فایلی که بین دو تست عوض شده، دو عدد متفاوت میسازد. بررسیهایی که ورود یا توکن میخواهند هم در امتیاز ما نیستند. WebMCP را هم ما از کد صفحه و بدون مرورگر میخوانیم.
هر چند وقت یک بار تست کنم؟
بعد از هر تغییر در سرور، CDN، افزونهی امنیتی یا افزونهی سئو. نتیجهی هر تست با تاریخش در تاریخچهی همان سایت میماند تا قبل و بعد را کنار هم ببینید.
این تست به سایت من فشار میآورد؟
نه. هر تست فقط چند درخواست کوچک به صفحهی اصلی و فایلهای عمومی میفرستد. همان سایت هم تا ده دقیقه دوباره تست نمیشود.
ثبت سایت در چت جی پی تی چقدر طول میکشد؟
فرم ثبتی نیست که منتظر تاییدش بمانید. وقتی در را برای OAI-SearchBot باز کردید، به گفتهی OpenAI حدود ۲۴ ساعت طول میکشد تا سیستمهای جستجویش تغییر robots.txt را ببینند. بعد از آن، اینکه کی و برای چه پرسشی سایت شما در جواب بیاید، دست خود ChatGPT است.
GPTBot را در robots.txt ببندم؟
اگر نمیخواهید محتوای سایت در آموزش مدلهای OpenAI به کار برود، بله؛ با یک گروه «User-agent: GPTBot» و «Disallow: /». OpenAI میگوید GPTBot برای آموزش مدل است و جدا از OAI-SearchBot تنظیم میشود. پس بستنش سایت را از جستجوی ChatGPT بیرون نمیبرد. بعد از این کار، تست ما بررسی «قانون رباتهای هوش مصنوعی» را هم قبول میکند، چون برای یک ربات هوش مصنوعی قانون صریح نوشتهاید.