ابزار رایگان تیم سفید
سایت شما برای ایجنتهای هوش مصنوعی آماده است؟
اگر میخواهید ChatGPT، Claude و هوش مصنوعی گوگل سایت شما را به مشتری معرفی کنند، اول باید بتوانند آن را پیدا کنند و بخوانند.
ایجنت یعنی همین ابزارها، وقتی خودشان سراغ سایتی میروند تا برای کسی جواب پیدا کنند یا کاری انجام دهند. این تست نشان میدهد سایت شما چقدر برای آنها آماده است: ۲۲ بررسی، و برای هر ایراد، راه درست کردنش. امتیاز بالاتر شانس معرفی شدن را بیشتر میکند؛ تضمین نیست.
رایگان است و ثبتنام نمیخواهد. فقط صفحهی اصلی سایت و فایلهایی خوانده میشود که برای همه باز است.
ایجنت هوش مصنوعی با سایت شما سه کار میکند. هر بررسی این تست یکی از همین سه کار را میسنجد.
- پیدا میکندمثل تابلوهای راهنمای یک فروشگاه: robots.txt، نقشهی سایت، هدر Link و رکوردهای DNS به او میگویند کجا برود.
- میخواندبهجای کد سنگین صفحه، متن سادهی آن (نسخهی Markdown) را میگیرد و زودتر میفهمد.
- کار انجام میدهداز طرف کاربر کاری را انجام میدهد، مثلا فرمی را پر میکند. راهش سرور MCP، کارت A2A یا ابزار WebMCP روی فرم است.
یک نتیجهی واقعی: همین سایت. آنچه به شما پیشنهاد میدهیم، اول روی سایت خودمان ساختهایم.
سایت خود ما، team.sefid.dev، در همین ابزار سطح ۵ از ۵ را دارد. کمبودش را هم پنهان نمیکنیم: ایجنت هنوز نمیتواند از طرف کاربر وارد حساب او در سایت ما شود، چون کشف OAuth و منبع محافظتشده را هنوز نساختهایم. این دو در امتیاز نیستند، ولی در نتیجه دیده میشوند.
- پیدا شدن۲ از ۳
- محتوای خوانا۱ از ۱
- اجازهی رباتها۲ از ۲
- API، ورود و MCP۵ از ۵
شش پله، از «آماده نیست» تا «ساخته برای ایجنتها». روی هر پله بزنید تا شرطش را ببینید.
۰آماده نیست
از این سه، کمتر از دو تا را دارد: robots.txt، نقشهی سایت، هدر Link.
۱حضور پایه در وب
از این سه، دستکم دو تا را دارد: robots.txt، نقشهی سایت، هدر Link.
۲آشنا با رباتها
شرط پلهی ۱، و در robots.txt هم قانون جدا برای رباتهای هوش مصنوعی دارد و هم Content Signals.
۳خوانا برای ایجنتها
شرط پلهی ۲، و هر ایجنتی که بخواهد، نسخهی Markdown صفحه را میگیرد.
۴وصل به ایجنتها
شرط پلهی ۳، و دستکم یکی از این سه: کارت سرور MCP، فهرست مهارتها، کاتالوگ API.
۵ساخته برای ایجنتها
شرط پلهی ۴، و دو تا از این سه: Web Bot Auth، همهی راههای اتصال، و راه ورود ایجنت (OAuth یا auth.md).
۲۲ بررسی، به زبان ساده. هر کدام با سند اصلیاش، و اینکه استاندارد رسمی است یا هنوز پیشنویس.
- فایل robots.txtایجنت اول این را میخواند تا بداند کجا اجازه دارد برود.
- نقشهی سایتفهرست همهی صفحهها را یکجا میبیند و لازم نیست سایت را بگردد.
- هدر Linkاز همان پاسخ صفحهی اصلی میفهمد خلاصه، API یا کاتالوگ سایت کجاست.
- رکوردهای DNS-AIDپیش از باز کردن سایت، از خود DNS میفهمد ایجنت و سرور MCP شما کجاست. امضای DNSSEC نشان میدهد این نشانی واقعا مال شماست.
امتیاز چطور حساب میشود؟ بررسیهای ورود و خرید در امتیاز نمیآیند.
امتیاز ساده است: از بررسیهایی که شمرده میشوند، چند درصد قبول شدهاند. سطح چیز دیگری است. هر پله شرط خودش را دارد؛ برای همین ممکن است سایتی امتیاز کم و سطح بالا داشته باشد، یا برعکس.
۱۱ قبول÷۱۲ شمردهشده=۹۲
- بررسیای که به سایت مربوط نیست (مثلا Web Bot Auth برای سایتی که رباتی نمیفرستد) شمرده نمیشود.
- بررسیهایی که ورود یا توکن میخواهند (کشف OAuth، منبع محافظتشده و auth.md) نشان داده میشوند، ولی در امتیاز نیستند.
- گروه خرید فقط برای فروشگاه نشان داده میشود و در امتیاز نیست.
- llms.txt، و اینکه robots.txt جلوی رباتهای هوش مصنوعی را بسته است یا نه، جدا و بیرون از امتیاز نشان داده میشوند.
- اگر بررسیای از تهران شدنی نباشد، شمرده نمیشود و همین را در نتیجه مینویسیم.
سه نوع ربات، سه تصمیم جدا. بستن ربات آموزش، شما را از جوابها حذف نمیکند؛ بستن ربات جستجو میکند.
| رباتهای جستجوOAI-SearchBot، Claude-SearchBot، PerplexityBot | رباتهای آموزش مدلGPTBot، ClaudeBot، Google-Extended | درخواست کاربرChatGPT-User، Claude-User، Perplexity-User | |
|---|---|---|---|
| چه میکند | صفحه را برای جواب دادن در جستجوی ChatGPT، Claude و Perplexity پیدا و فهرست میکنند. | محتوا را برای آموزش مدلهای بعدی جمع میکنند. | وقتی کسی در گفتگو نشانی شما را میدهد یا از دستیار میخواهد صفحهای را باز کند، همان لحظه میآیند. |
| اگر ببندید | در جوابهای جستجوی همان دستیار دیده نمیشوید. | محتوای شما در آموزش مدلهای بعدی نمیآید؛ از جوابهای جستجو حذف نمیشوید. | دستیار نمیتواند صفحهای را که کاربر خواسته برایش بخواند. |
| نمونه در robots.txt | User-agent: OAI-SearchBot Allow: / | User-agent: GPTBot Disallow: / | User-agent: ChatGPT-User Allow: / |
از مستندات خود شرکتها: مستندات OpenAI، مستندات Anthropic، مستندات Perplexity.
ایجنتها از بیرون ایران میآیند.
سرورهای ChatGPT، Claude و Perplexity بیرون از ایراناند. سایتی که فقط با IP ایران باز میشود، یا در روزهای اختلال از بیرون در دسترس نیست، با ۲۲ بررسی سبز هم برای آنها دیده نمیشود.
این را هم صادقانه بگوییم: تست ما از تهران انجام میشود و نمیبیند سایت شما از بیرون باز میشود یا نه. فقط میبیند وقتی خودش را ربات ChatGPT یا Claude معرفی میکند، سایت جواب میدهد یا صفحهی چالش نشان میدهد. در یک اندازهگیری روی ۲۰ سایت پربازدید ایرانی از بیرون ایران، ۴ تا اصلا باز نشدند (۹ مهر ۱۴۰۵).
تا امروز چه دیدهایم. ۶۷ سایت در همین ابزار، آخرین نتیجهی هر کدام.
- ۰آماده نیست۱۶
- ۱حضور پایه در وب۴۶
- ۲آشنا با رباتها۱
- ۳خوانا برای ایجنتها۰
- ۴وصل به ایجنتها۱
- ۵ساخته برای ایجنتها۳
آخرینها: huntlearn.com سطح ۱، sahabsystem.com سطح ۱، upkit.ir سطح ۱، time.ir سطح ۱، team.sefid.dev سطح ۵
برای هر ایراد، راه درست کردنش. رایگان و کامل، حتی اگر هیچوقت چیزی از ما نخرید.
- چه خواستیم
- GET /robots.txt
- چه گرفتیم
- ۴۰۴، صفحه پیدا نشد
- چرا مهم است
- وقتی robots.txt نیست، ایجنت نمیداند کجا اجازه دارد برود و نقشهی سایت را هم پیدا نمیکند. دو بررسی دیگر هم به همین فایل بستهاند.
وردپرس خودش یک robots.txt مجازی میسازد، ولی بدون نقشهی سایت و قانون رباتها. با افزونهی سئو (Yoast یا Rank Math) یا یک فایل robots.txt واقعی در ریشهی هاست، همان متن پایین را بگذارید.
در ریشهی سایت فایل robots.txt بساز (Content-Type: text/plain) با این محتوا: User-agent: * Allow: / Content-Signal: search=yes, ai-input=yes, ai-train=no User-agent: GPTBot User-agent: ClaudeBot Allow: / Sitemap: https://<دامنه>/sitemap.xml بعد مطمئن شو https://<دامنه>/robots.txt با کد ۲۰۰ و همین متن باز میشود.
خودتان، یا ما. هر دو راه درست است؛ شما انتخاب میکنید.
خودتان
دستورهای همهی بررسیهای ردشده را یکجا کپی کنید و به برنامهنویس یا ایجنت کدنویسیتان بدهید. برای این کار این دسترسیها لازم است:
- دسترسی به سرور یا هاست
- دسترسی به تنظیمات DNS دامنه
- دسترسی به CDN، اگر دارید
ما
آمادهسازی سایت برای ایجنتهای هوش مصنوعی: ۱۵ میلیون تومان ۱۰ میلیون تومان، یک بار؛ تحویل ۷ روز، ۷ روز پشتیبانی رایگان.
- robots.txt، قانون رباتها و Content Signals
- نسخهی Markdown صفحهها و هدرهای Link
- کارتها، کاتالوگ ARD و فهرست مهارتها
- سرور MCP برای کارهایی که خودتان انتخاب میکنید
- رکوردهای DNS-AID، اگر DNS دامنه دست شماست
این تست چه چیزهایی را نمیگوید.
- نمیگوید ChatGPT شما را پیشنهاد میدهد یا نه؛ فقط میگوید ایجنت راحت پیدایتان میکند، میخواند و با سایت کار میکند.
- صفحههای داخلی را نمیبیند؛ فقط صفحهی اصلی و فایلهای عمومی ریشهی سایت.
- چند استاندارد هنوز پیشنویساند و ممکن است عوض شوند؛ برچسب هر کدام را بالاتر، در فهرست ۲۲ بررسی، دیدید.
- اینها رتبهی شما را در گوگل بالا نمیبرند؛ برای گوگل، سئو تکنیکال و سرعت مهماند.
از ایجنت خودتان بخواهید. این ابزار خودش همان کاری را میکند که به شما پیشنهاد میدهیم.
با ابزار تیم سفید ببین سایت من برای ایجنتها آماده است: example.ir
تست شد. سطح ۲، امتیاز ۳۳. بزرگترین کمبود: نسخهی Markdown صفحهها و کارت سرور MCP. میخواهی دستور درست کردنشان را برایت بنویسم؟
نشانی سرور MCP ما، برای Claude، ChatGPT و هر کلاینت MCP دیگری: https://team.sefid.dev/mcp
گفتگوی بالا نمونه است؛ عددها بسته به سایت شما فرق میکنند.
سوالهایی که میپرسند.
- سایتم را چطور در ChatGPT ثبت کنم؟
- جایی برای ثبت سایت در ChatGPT وجود ندارد. ChatGPT، مثل گوگل، سایتها را با رباتهای خودش پیدا میکند و میخواند. این تست نشان میدهد آن رباتها وقتی به سایت شما میرسند چه میبینند، و چه چیزی جلویشان را میگیرد.
- چرا ورود و توکن در امتیاز نیست؟
- کشف OAuth، منبع محافظتشده و auth.md فقط برای سایتی معنا دارند که به ایجنت اجازه میدهد از طرف کاربر وارد شود. بیشتر سایتها این را لازم ندارند؛ پس این بررسیها را نشان میدهیم، ولی امتیاز را با آنها پایین نمیآوریم. گروه خرید هم فقط برای فروشگاه نشان داده میشود.
- چرا llms.txt در امتیاز نیست؟
- چون جزو ۲۲ بررسی استاندارد نیست. با این حال نشانش میدهیم، با برچسب «بیرون از امتیاز»، چون بسیاری از ابزارها آن را میخوانند.
- امتیاز بالا یعنی در جواب ChatGPT میآیم؟
- نه بهتنهایی. امتیاز بالا یعنی ایجنت راحتتر سایت شما را پیدا میکند، میخواند و با آن کار میکند. این شانس معرفی شدن را بیشتر میکند، ولی تضمین نیست؛ چون اینکه در جوابها پیشنهاد شوید به محتوا، اعتبار و خیلی چیزهای دیگر هم بستگی دارد.
- جلوی GPTBot را ببندم؟
- GPTBot برای آموزش مدل است. بستنش شما را از جوابهای جستجوی ChatGPT حذف نمیکند؛ آن کار OAI-SearchBot است. پس میشود آموزش را بست و جستجو را باز گذاشت.
- سایت وردپرسی چه کند؟
- بیشتر بررسیهای سه گروه اول با تنظیم robots.txt، نقشهی سایت، چند هدر و یک افزونه یا قانون سرور درست میشود. کارتها و سرور MCP کار بیشتری میخواهند؛ در صفحهی خدمت نوشتهایم چه چیزی را چطور انجام میدهیم.
- هر چند وقت یک بار تست کنم؟
- بعد از هر تغییر در سرور، CDN یا افزونهها. هر سایت را ده دقیقه بعد از تست قبلی میشود دوباره تست کرد.
- نتیجه عمومی است؟
- بله، مثل گزارشهای تست سرعت: نتیجهی هر سایت نشانی ثابت دارد و هر کسی میتواند ببیند. فقط چیزهایی خوانده میشود که هر کسی روی اینترنت میبیند.
یک بار دیگر، با سایت خودتان.
بررسی اولیهی پروژه رایگان است
- بررسی اولیهی پروژه رایگان است؛ قیمت ثابت و زمان را پیش از شروع، مکتوب میگیرید.
- کار بعد از پرداخت و از روزی شروع میشود که دسترسی را بدهید.
- اطلاعات دسترسی فقط بعد از تایید سفارش، در پنل خودتان گرفته و رمزنگاریشده نگه داشته میشود.
- ۷ روز پشتیبانی رایگان بعد از تحویل، و گزارش PDF پایان کار.
بررسیها و پلههای این تست از isitagentready.com کلادفلر گرفته شده است. دو فرق دارد: تست از سروری در تهران انجام میشود، و بررسیهای ورود و خرید در امتیاز نمیآیند.
بیشتر
تست آمادگی سایت برای هوش مصنوعی؛ ثبت سایت در چت جی پی تی، MCP و llms.txt
شما میخواهید وقتی کسی از ChatGPT، Claude یا هوش مصنوعی گوگل سوالی میپرسد، سایت شما را پیشنهاد کند. تست آمادگی سایت برای هوش مصنوعی نشان میدهد این دستیارها و ایجنتهای دیگر چقدر راحت سایت شما را پیدا میکنند، میخوانند و با آن کار میکنند. اینجا قدم به قدم میگوییم ایجنت چیست و چطور به سایت سر میزند، «ثبت سایت در چت جی پی تی» واقعا یعنی چه، و MCP و llms.txt چیستاند. بعد ۲۲ بررسی را یکییکی به زبان ساده باز میکنیم، برای سه نوع ربات تصمیم درست را میگوییم و ترتیب کار را برای سایت وردپرسی میچینیم.
ایجنت هوش مصنوعی چیست و چه فرقی با ربات گوگل دارد
ایجنت هوش مصنوعی (AI Agent) برنامهای است که روی یک مدل زبانی مثل ChatGPT یا Claude کار میکند. فرقش با یک چت ساده این است که فقط جواب نمینویسد؛ برای رسیدن به جواب کار هم میکند. جستجو میکند، صفحه باز میکند، متن را میخواند، قیمتها را کنار هم میگذارد و گاهی فرمی را پر میکند. مثلا فرض کنید کسی از ChatGPT میپرسد «کدام فروشگاه کفش دویدن سایز ۴۲ زیر سه میلیون دارد؟». پشت صحنه چند سایت باز میشود و جواب از روی همانها ساخته میشود.
ربات گوگل صفحهها را از قبل فهرست میکند. بعدا فهرستی از پیوندها نشان میدهد و انتخاب با خود آدم است. ایجنت فرق دارد. معمولا همان لحظه میآید، برای یک سوال مشخص، و خودش تصمیم میگیرد کدام صفحه را بخواند. اگر سایت شما برایش سختخوان یا بسته باشد، سراغ سایت بعدی میرود. کسی هم به شما خبر نمیدهد.
این کار دیگر کار چند نفر محدود نیست. پژوهش مشترک OpenAI و اقتصاددانهای هاروارد که NBER منتشر کرده است این را با عدد نشان میدهد: سهم پیامهایی از ChatGPT که دنبال اطلاعاتاند، از ۱۴٪ در ژوئیهی ۲۰۲۴ به ۲۴٪ در یک سال بعد رسیده است. نویسندهها این استفاده را جانشینی بسیار نزدیک برای جستجوی وب میدانند.
ایجنت چطور به یک سایت سر میزند
بیشتر ایجنتها، با کمی تفاوت، یک مسیر را میروند:
- در میزند. اول فایل robots.txt را در ریشهی سایت میخواند تا بداند کجا اجازه دارد برود. این فایل قفل نیست؛ بیشتر شبیه تابلویی است که روی در زدهاند. خود استاندارد RFC 9309 میگوید قانونهایش مجوز دسترسی نیست و فقط از رباتها خواسته میشود رعایتش کنند.
- نقشه را برمیدارد. از نقشهی سایت (sitemap)، هدرهای پاسخ صفحه و حتی رکوردهای DNS میفهمد سایت چه صفحهها و چه امکاناتی دارد.
- میخواند. اگر سایت نسخهی متنی تمیز (Markdown) بدهد، همان را میگیرد. اگر ندهد، باید متن اصلی را از میان HTML پر از منو و اسکریپت بیرون بکشد.
- دنبال ابزار میگردد. مثلا برای پیدا کردن قیمت یک محصول، دنبال راه رسمیاش میگردد: یک API، یک سرور MCP یا فرمی که برای ایجنتها نشانهگذاری شده باشد.
- کار را تمام میکند. اگر سایت راهی برایش گذاشته باشد، با اطلاعات دقیق خود شما؛ اگر نه، با حدس.
تست آمادگی سایت برای هوش مصنوعی همین پنج قدم را در سایت شما میسنجد.
ثبت سایت در چت جی پی تی و هوش مصنوعی: فرمی در کار نیست
خیلیها همانطور که سایت را در سرچ کنسول گوگل ثبت میکنند، دنبال جایی برای ثبت سایت در چت جی پی تی یا ثبت سایت در هوش مصنوعی میگردند. این با «ثبتنام در سایت ChatGPT» فرق دارد. آن یعنی ساختن حساب کاربری در خود ChatGPT؛ اینجا حرف از دیده شدن سایت شماست. جواب کوتاه این است: چنین فرمی وجود ندارد. ChatGPT، Claude و Perplexity سایتها را با رباتهای خودشان پیدا میکنند و میخوانند. کاری که از دست شما برمیآید این است که در را برای همین رباتها باز کنید و راه را برایشان روشن کنید.
سند رسمی OpenAI دربارهی رباتهایش این را صریح میگوید: سایتی که OAI-SearchBot را ببندد، در جوابهای جستجوی ChatGPT نشان داده نمیشود و فقط ممکن است به شکل پیوند ناوبری بیاید. همان سند میگوید بعد از تغییر robots.txt، حدود ۲۴ ساعت طول میکشد تا سیستمهای جستجوی OpenAI خودشان را با آن هماهنگ کنند. پس «ثبت» در عمل سه چیز است:
- اجازه. robots.txt رباتهای جستجوی هوش مصنوعی را نبندد، و فایروال یا CDN هم بیخبر از شما جلویشان را نگیرد.
- پیدا شدن. نقشهی سایت کامل باشد و در robots.txt معرفی شده باشد، تا ربات بداند چه صفحههایی هست.
- خوانا بودن. متن اصلی صفحه بیدردسر به دست ربات برسد، نه پشت اسکریپت یا صفحهی چالش.
همین تست هر سه را میسنجد. اگر کسی «ثبت سایت در چت جی پی تی» را به عنوان خدمتی با فرم و تاییدیه به شما فروخت، بدانید چنین فرمی از طرف OpenAI وجود ندارد. کار واقعی همین باز کردن در و روشن کردن راه است. بعد از آن، اینکه سایت شما در جوابها انتخاب شود یا نه، به محتوا و اعتبار سایت بستگی دارد.
تست آمادگی سایت برای هوش مصنوعی دقیقا چه میسنجد
این سنجش ۲۲ بررسی در پنج گروه دارد. خروجیاش یک سطح از ۰ تا ۵ است و یک امتیاز از ۰ تا ۱۰۰. برای هر ایراد هم یک دستور آماده برای برنامهنویس میدهد، با راه درست کردنش در وردپرس، Nginx و CDNهای رایج در ایران. منبع بررسیها درست بالای همین مقاله آمده است.
تست فقط چیزهایی را میخواند که هر کسی روی اینترنت میبیند: صفحهی اصلی، فایلهای عمومی ریشهی سایت مثل robots.txt و sitemap.xml، مسیرهای استاندارد زیر /.well-known/ و رکوردهای DNS زیر نام _agents دامنه.
امتیاز ساده حساب میشود: تعداد بررسیهای قبولشده تقسیم بر تعداد بررسیهای شمردهشده، در چهار گروه اول. بررسیای که برای سایت شما بیاثر است، در مخرج نمیآید. چند بررسی هم فقط نشان داده میشوند و در امتیاز نیستند: آنهایی که ورود یا توکن میخواهند (کشف OAuth، منبع محافظتشده و auth.md)، گروه خرید، و دو بررسی کارت A2A و AP2. همین سایت (team.sefid.dev) در این تست سطح ۵ دارد؛ نتیجهاش را ببینید. سطح از امتیاز جداست و هر پله شرط خودش را دارد.
اگر سطح سایت شما پایین است، عادی است. کلادفلر هنگام معرفی این ابزار ۲۰۰ هزار دامنهی پربازدید دنیا را سنجید. ۷۸٪ آنها robots.txt داشتند، ولی فقط ۴٪ Content Signals داشتند و ۳٫۹٪ نسخهی Markdown. کارت سرور MCP و کاتالوگ API هم روی هم در کمتر از ۱۵ سایت از کل این فهرست دیده شد. ما هم در ۹ مهر ۱۴۰۵، ۲۰ سایت پربازدید ایرانی را با ابزاری بیرون از ایران سنجیدیم. ۴ سایت اصلا باز نشد. ۱۶ سایت دیگر همه در سطح ۰ یا ۱ بودند و بیشترین امتیاز ۳۳ بود. پس هر قدمی که بردارید، شما را از بیشتر سایتها جلو میبرد.
۲۲ بررسی تست آمادگی سایت برای هوش مصنوعی، به زبان ساده
گروه اول: پیدا شدن (۴ بررسی)
- robots.txt. فایلی در ریشهی سایت که به رباتها میگوید کجا بروند و کجا نروند. قبول میشود اگر سه شرط داشته باشد: با کد ۲۰۰ جواب بدهد، صفحهی HTML نباشد و دستکم یک خط User-agent داشته باشد.
- نقشهی سایت. فهرست همهی صفحههای سایت، به شکلی که ماشین بخواند. بهترین جای معرفیاش یک خط Sitemap در همان robots.txt است.
- هدر Link. چند خط کوتاه در پاسخ صفحهی اصلی (استاندارد RFC 8288). این خطها میگویند خلاصهی سایت، API یا نسخهی Markdown کجاست. هدرهایی مثل preload که فقط به کار مرورگر میآیند، حساب نمیشوند.
- DNS-AID. رکوردهایی در DNS دامنه، زیر نام _agents. این رکوردها پیش از باز شدن سایت میگویند سرور MCP یا ایجنت سایت کجاست. باید با DNSSEC امضا شده باشند. DNSSEC امضای دیجیتالی است که جواب جعلی DNS را آشکار میکند.
گروه دوم: محتوای خوانا (۱ بررسی)
- نسخهی Markdown. فرض کنید ایجنت بگوید «Markdown میخواهم» (با هدر Accept: text/markdown). سایت آماده به جای HTML همان متن صفحه را تمیز و بیمنو میدهد؛ مرورگرها همان HTML همیشگی را میگیرند. فایدهاش این است که متن خیلی کوتاهتر میشود. صفحهی اصلی همین سایت در ۹ مهر ۱۴۰۵ به صورت HTML ۱۵۴٬۷۴۲ بایت بود و نسخهی Markdown آن ۳۹٬۴۰۱ بایت، حدود ۵٬۶۷۴ توکن. کلادفلر هم در یک نمونه از وبلاگ خودش ۱۶٬۱۸۰ توکن HTML را به ۳٬۱۵۰ توکن Markdown رساند. توکن واحد شمارش متن در مدلهاست و هزینهی خواندن ایجنت با آن حساب میشود.
گروه سوم: دسترسی رباتها (۳ بررسی)
- قانون رباتهای هوش مصنوعی. robots.txt برای رباتهایی مثل GPTBot و ClaudeBot، با اسم خودشان، قانون داشته باشد. یک گروه عمومی برای همهی رباتها هم قبول میشود، ولی تصمیم جدا بهتر است؛ پایینتر دلیلش را میگوییم.
- Content Signals. یک خط در robots.txt که میگوید محتوای شما برای سه کار آزاد است یا نه: search (جستجو و نشان دادن پیوند)، ai-input (استفاده در جواب لحظهای هوش مصنوعی) و ai-train (آموزش مدل). این همان سه نشانهای است که کلادفلر در معرفی این سیاست تعریف کرده است.
- Web Bot Auth. این بررسی فقط برای سایتی است که خودش ربات میفرستد و میخواهد رباتهایش با امضا شناخته شوند. اگر سایت شما ربات نمیفرستد، این بررسی «بیاثر» است و در امتیاز نمیآید.
گروه چهارم: API، ورود و MCP (۹ بررسی)
این گروه بزرگترین و تازهترین گروه است و بیشترش دربارهی MCP است. MCP را پایینتر، در بخش «MCP چیست»، جدا باز میکنیم.
- کاتالوگ API. فایلی در مسیر /.well-known/api-catalog که APIهای سایت را معرفی میکند (استاندارد RFC 9727).
- کشف OAuth و منبع محافظتشدهی OAuth. دو فایل استاندارد. میگویند ایجنت چطور از طرف یک کاربر وارد حساب او شود و برای کدام API توکن بگیرد. فقط برای سایتی معنا دارند که حساب کاربری و API خصوصی دارد.
- auth.md. متنی ساده که روش ثبتنام و ورود ایجنت را توضیح میدهد. هنوز آزمایشی است.
- کارت سرور MCP. فایلی در /.well-known/mcp/server-card.json (یا server-cards.json، یا /.well-known/mcp.json) که میگوید سرور MCP سایت کجاست و چه ابزارهایی دارد. اگر کارتی با نام سرور پیدا شود، قبول میشود.
- کارت ایجنت A2A. پروتکلی که گوگل ساخت و حالا پروژهی بنیاد لینوکس است. با آن، ایجنت کاربر با ایجنت خود سایت حرف میزند. در امتیاز پیشفرض نیست.
- فهرست مهارتها (Agent Skills). دستورهای آمادهای که سایت برای ایجنتها نوشته است، مثل «در این سایت محصول را اینطور پیدا کن».
- WebMCP. با آن، فرمها و کارهای صفحه به شکل ابزار به ایجنتهای داخل مرورگر معرفی میشوند. چند ویژگی ساده کافی است، مثل toolname روی فرم یا ثبت ابزار با modelContext.registerTool در کد صفحه.
- کاتالوگ ARD. یک فایل که همهی چیزهایی را که سایت به ایجنتها میدهد، یکجا فهرست میکند.
گروه پنجم: خرید توسط ایجنت (۵ بررسی، بیرون از امتیاز)
x402، MPP، UCP، ACP و AP2 پروتکلهاییاند که ایجنت با آنها از طرف کاربر پرداخت یا خرید میکند. همه به راههای پرداخت بینالمللی تکیه دارند. برای همین، فروشگاهی که با درگاههای شاپرکی کار میکند امروز کاربردی از آنها ندارد. این گروه فقط برای سایتی نشان داده میشود که شبیه فروشگاه است، و در امتیاز نمیآید.
MCP چیست، سرور MCP چیست و web mcp چیست
MCP (کوتاهشدهی Model Context Protocol) در هوش مصنوعی زبانی مشترک است که دستیارها با آن به ابزارهای بیرونی وصل میشوند. مثل پریز برق استاندارد: هر دستگاهی که دوشاخهی استاندارد دارد، به آن میخورد. بدون MCP، هر دستیار باید برای هر سایت و هر سرویس راه جدایی یاد بگیرد. با MCP، سایت یک بار ابزارهایش را معرفی میکند و هر دستیاری که MCP بلد است میتواند صدایشان بزند. (اگر «mcp» را جستجو کنید، به مفصل انگشت در پزشکی و کلید برق هم میرسید؛ اینجا فقط معنای هوش مصنوعیاش منظور است.)
Anthropic این پروتکل را ساخت و در ۹ دسامبر ۲۰۲۵ (۱۸ آذر ۱۴۰۴) به Agentic AI Foundation سپرد. این بنیاد صندوقی زیر نظر بنیاد لینوکس است که Anthropic، Block و OpenAI با هم بنیانش گذاشتند. به گفتهی همان اعلام، بیش از ۱۰ هزار سرور عمومی MCP فعال است و ChatGPT، Cursor، Gemini، Microsoft Copilot، VS Code و Claude از آن پشتیبانی میکنند.
سرور MCP برنامهای است که ابزارها را عرضه میکند. برای یک سایت، هر ابزار یک کار مشخص است: «محصول با این مشخصات را پیدا کن»، «قیمت و موجودی این کالا چیست»، «شرایط ارسال چیست». دستیار دیگر لازم نیست از روی HTML صفحه حدس بزند؛ از ابزار رسمی سایت میپرسد و جواب دقیق میگیرد. اینکه کدام ابزار ساخته شود، تصمیم شماست. قاعدهی محتاطانه این است: فقط ابزارهای خواندنی و عمومی باز شوند، یعنی همان چیزهایی که هر بازدیدکنندهای میبیند.
کارت سرور MCP فایلی است که میگوید سرور کجاست. تست ما سه نشانی را میپرسد (/.well-known/mcp/server-card.json، /.well-known/mcp/server-cards.json و /.well-known/mcp.json). اگر کارتی با نام سرور پیدا کند، این بررسی را قبول میکند. شکل این کارت هنوز پیشنهادی در مخزن خود MCP است، نه بخش نهایی پروتکل.
web mcp چیست؟ WebMCP همان ایده است، برای ایجنتهایی که داخل مرورگر کار میکنند. به تعریف سند خودش، یک رابط جاوااسکریپت تازه است. با آن، سازندهی سایت کارهای صفحه را به شکل «ابزار» و با توضیح زبان طبیعی به ایجنت معرفی میکند. سادهترین شکلش یک ویژگی toolname روی فرم جستجو یا تماس است. این سند در ۳۰ سپتامبر ۲۰۲۶ گزارش پیشنویس یک گروه انجمنی W3C است و خودش میگوید نه استاندارد W3C است و نه در مسیر استاندارد. تست ما WebMCP را از روی کد صفحه و اسکریپتهای خود سایت پیدا میکند و مرورگر باز نمیکند. پس ابزاری که فقط با کدی از جای دیگر ثبت شود، از چشمش میافتد. ابزارهایی که صفحه را در مرورگر باز میکنند، آن را هم میبینند. این فرق کوچک یکی از دلیلهای تفاوت عدد ابزارهاست.
شش پله: سطح سایت شما یعنی چه
نتیجهی تست آمادگی سایت برای هوش مصنوعی یکی از شش پله است. هر پله شرط پلهی قبل را هم میخواهد:
- سطح ۰، آماده نیست: کمتر از دو تا از این سه: robots.txt، نقشهی سایت، هدر Link.
- سطح ۱، حضور پایه در وب: دو تا از همان سه. بیشتر سایتها همینجا هستند.
- سطح ۲، آشنا با رباتها: قانون رباتهای هوش مصنوعی و Content Signals هم هست.
- سطح ۳، خوانا برای ایجنتها: نسخهی Markdown هم داده میشود.
- سطح ۴، وصل به ایجنتها: دستکم یکی از این سه هست: کارت سرور MCP، فهرست مهارتها، کاتالوگ API.
- سطح ۵، ساخته برای ایجنتها: دو تا از این سه: Web Bot Auth رد نشده باشد، هر سه راه اتصال پلهی ۴ باشد، فرادادهی ورود (OAuth یا auth.md) باشد. شرط اول برای سایتی که ربات نمیفرستد، خودبهخود برقرار است. همین سایت با هر سه راه اتصال به این پله رسیده است.
کوتاهترین راه از سطح ۰ تا ۲ تقریبا همه در robots.txt است، یعنی چند خط متن. پلهی ۳ به سرور یا CDN بستگی دارد. پلههای ۴ و ۵ کار برنامهنویسی واقعی میخواهند.
سه نوع ربات هوش مصنوعی در robots.txt، سه تصمیم جدا
رایجترین اشتباه این است که همهی رباتهای هوش مصنوعی را یکی بدانیم. خود شرکتها آنها را سه دسته کردهاند، و هر دسته تصمیم خودش را میخواهد.
رباتهای جستجو (OAI-SearchBot، Claude-SearchBot، PerplexityBot) صفحهها را فهرست میکنند تا دستیار در جستجو از آنها جواب بدهد. مستندات OpenAI صریح است: سایتی که OAI-SearchBot را ببندد، در جوابهای جستجوی ChatGPT نشان داده نمیشود و فقط ممکن است به شکل پیوند ناوبری بیاید. Anthropic هم میگوید بستن Claude-SearchBot ممکن است دیده شدن سایت در جوابها را کم کند. Perplexity میگوید PerplexityBot برای نشان دادن و پیوند دادن سایتهاست، نه آموزش مدل. تصمیم درست برای بیشتر کسبوکارها: باز.
رباتهای آموزش مدل (GPTBot، ClaudeBot، Google-Extended، Applebot-Extended، CCBot و چند تای دیگر) محتوا را برای آموزش نسلهای بعدی مدل جمع میکنند. بستنشان شما را از جوابهای جستجو حذف نمیکند. گوگل هم در مستندات خزندههایش میگوید Google-Extended روی حضور در جستجوی گوگل اثری ندارد و عامل رتبه نیست. اینجا هر دو انتخاب درست است، به شرطی که آگاهانه باشد.
درخواستهای کاربر (ChatGPT-User، Claude-User، Perplexity-User) وقتی میآیند که کسی در گفتگو نشانی شما را میدهد، یا از دستیار میخواهد صفحهای را برایش بخواند. OpenAI میگوید چون این درخواست را کاربر شروع کرده، ممکن است قانون robots.txt دربارهاش اعمال نشود. Perplexity هم میگوید Perplexity-User معمولا robots.txt را نادیده میگیرد. بستن این دسته یعنی مشتریای که خودش سراغ شما آمده، دست خالی برمیگردد.
خط Content-Signal همین تصمیمها را به زبان ماشین مینویسد. مثلا robots.txt همین سایت جستجو و جواب دادن را آزاد اعلام میکند و آموزش مدل را بسته. به گفتهی OpenAI، اعمال تغییر robots.txt در جستجو حدود ۲۴ ساعت طول میکشد.
کلادفلر از ۱۰ تیر ۱۴۰۴ برای هر دامنهی تازه میپرسد رباتهای هوش مصنوعی را راه بدهد یا نه، و پیشفرضش بستن است. اگر سایت شما پشت کلادفلر است و این تنظیم را ندیدهاید، ممکن است robots.txt یک چیز بگوید و CDN کار دیگری بکند.
کدام استاندارد جاافتاده است و کدام پیشنویس
همهی ۲۲ بررسی یک وزن ندارند. بعضی سالهاست کار میکنند و بعضی چند ماه پیش نوشته شدهاند:
- استاندارد رسمی: robots.txt (RFC 9309، سال ۲۰۲۲)، نقشهی سایت، هدر Link، کاتالوگ API (RFC 9727، سال ۲۰۲۵) و دو فایل OAuth.
- پرکاربرد و در بنیادی بیطرف: MCP و A2A. هنوز تغییر میکنند، ولی دیگر مال یک شرکت تنها نیستند.
- پیشنویس و آزمایشی: DNS-AID (پیشنویسی فردی که هنوز هیچ گروه کاری IETF آن را نپذیرفته)، Content Signals، کارت سرور MCP، فهرست مهارتها، ARD، auth.md، Web Bot Auth و WebMCP. WebMCP در سند خودش گزارش پیشنویس یک گروه انجمنی W3C است و صریحا میگوید نه استاندارد W3C است و نه در مسیر استاندارد. گوگل آزمایشش را از نسخهی ۱۴۹ مرورگر Chrome شروع کرده است.
قاعدهی عملی: استانداردهای پایدار را محکم بسازید. پیشنویسها را ارزان و برگشتپذیر اضافه کنید، تا اگر عوض شدند، برداشتنشان آسان باشد.
llms.txt چیست و تست ما دربارهاش چه میگوید
llms.txt فایلی متنی در ریشهی سایت است، با زبان Markdown. در چند خط به مدلهای زبانی میگوید سایت چیست و مهمترین صفحههایش کجاست. جرمی هاوارد آن را در ۳ سپتامبر ۲۰۲۴ (۱۳ شهریور ۱۴۰۳) پیشنهاد کرد و نسخهی دوم پیشنهاد در اوت ۲۰۲۶ منتشر شد. طبق همان سند، تنها بخش اجباری یک عنوان H1 با نام سایت است. بعد از آن، یک خلاصهی کوتاه در قالب نقلقول (خطی که با > شروع میشود) پیشنهاد شده است، و بعد فهرستهایی از پیوند صفحههای مهم زیر عنوانهای H2.
یک نمونهی کوچک فارسی این شکلی است: خط اول «# فروشگاه کفش نمونه»، خط بعد «> فروشگاه کفش دویدن و کوهنوردی، ارسال به همهی شهرها»، و بعد زیر «## صفحههای مهم» چند خط مثل «- شرایط ارسال».
تست ما مثل یک llms txt checker ساده کار میکند. فایل /llms.txt را میخواهد و سه چیز را نگاه میکند: با کد ۲۰۰ جواب بدهد، صفحهی HTML نباشد و اولین خط غیرخالیاش یک عنوان Markdown («# نام سایت») باشد. اگر هر سه درست بود، قبولش میکند و نام و تعداد پیوندهای فهرستش را نشان میدهد. اگر فایل باشد ولی با عنوان شروع نشود، همین را میگوید. این بررسی در نتیجه نشان داده میشود، ولی در امتیاز نمیآید، چون جزو ۲۲ بررسی استاندارد این تست نیست.
چرا در امتیاز نیست؟ چون هیچ شرکت بزرگی نگفته است از آن استفاده میکند. جان مولر از گوگل در ژوئن ۲۰۲۵ گفته بود هیچ سیستم هوش مصنوعیای فعلا llms.txt را استفاده نمیکند. گوگل هم در راهنمای ویژگیهای هوش مصنوعی جستجو صریحا میگوید برای آمدن در AI Overviews فایل متنی هوش مصنوعی لازم نیست. ساختنش ارزان و بیضرر است، و برای ایجنتهای برنامهنویسی و ابزارهایی که سراغش میروند مفید است. ولی جای هیچکدام از بررسیهای بالا را نمیگیرد.
مشکل خاص سایتهای ایرانی: ایجنتها از بیرون ایران میآیند
همهی این بررسیها یک فرض دارند: ایجنت بتواند سایت را باز کند. برای سایت ایرانی این فرض همیشه درست نیست. سرورهای ChatGPT، Claude و Perplexity بیرون از ایراناند. Anthropic ایران را در فهرست کشورهای پشتیبانیشده ندارد. OpenAI هم فهرست نشانیهای IP ربات ChatGPT-User را منتشر میکند (۲۳۰ بازه در ۳ مهر ۱۴۰۵). بازههایی که ما نمونه گرفتیم، به دیتاسنترهای بیرون از ایران میرسید، از جمله Microsoft در آمریکا.
طرف دیگر ماجرا خود سایتهای ایرانیاند. گزارش CIRA نشان میدهد بخشی از سایتهای دولتی، بانکی و مالی ایران فقط به IP داخل ایران جواب میدهند. بانک مرکزی دلیلش را جلوگیری از حملهی سایبری گفته است. همان ۴ سایتی هم که در اندازهگیری ما برای اسکنر بیرون از ایران باز نشدند، نمونهی همین مشکلاند.
نتیجه ساده و تلخ است: سایتی که از بیرون ایران باز نمیشود، حتی با ۲۲ بررسی سبز، برای ChatGPT و Claude وجود ندارد. این را هم صادقانه بگوییم: تست آمادگی سایت برای هوش مصنوعی ما از سروری در تهران انجام میشود. پس نمیتواند ببیند سایت از بیرون باز میشود یا نه. کاری که میکند این است: صفحهی اصلی را سه بار میخواهد، با شناسهی ChatGPT-User، Claude-User و GPTBot، و میبیند سایت جواب درست میدهد یا نه. اگر کد جواب بیرون از ۲۰۰ تا ۳۹۹ باشد، یا ابتدای جواب نشانههای صفحهی چالش داشته باشد (مثل «Just a moment» یا captcha)، رد حساب میشود. این «ورود واقعی» را بیرون از امتیاز نشان میدهیم.
برای اینکه دسترسی از بیرون را هم بسنجید، همان سایت را با ابزاری بیرون از ایران هم تست کنید. اگر باز نشد، از هاست یا CDN بپرسید قانونی مثل «فقط IP ایران» روشن است یا نه. باز کردنش تصمیم خود شماست؛ فقط بدانید هزینهاش دیده نشدن برای دستیارهاست.
ترتیب درست کار برای یک سایت وردپرسی
ترتیب کار را برای وردپرس و ووکامرس میچینیم. ترتیب مهم است، چون مثلا ساختن سرور MCP برای سایتی که فایروالش ایجنتها را میبندد، پول دور ریختن است.
- اول اندازه بگیرید. سایت را با تست آمادگی سایت برای هوش مصنوعی همین صفحه تست کنید و نتیجه را با تاریخ نگه دارید.
- در را باز کنید. قانونهای فایروال و CDN را ببینید: بخش AI Crawl Control در کلادفلر، قانونهای فایروال در آروان، هر افزونهی امنیتی وردپرس که رباتها را میبندد، و دسترسی از بیرون ایران.
- robots.txt واقعی بسازید. robots.txt مجازی که وردپرس خودش میسازد، قانون رباتهای هوش مصنوعی ندارد. با افزونهی سئو یا یک فایل واقعی در ریشهی هاست، سه گروه ربات را جدا بنویسید. خط Content-Signal و خط Sitemap را هم اضافه کنید. همین قدم معمولا سایت را به سطح ۲ میرساند.
- نقشهی سایت را درست کنید. ببینید فقط نشانیهای canonical (نشانی اصلی هر صفحه) در آن باشد، نه صفحههای تکراری یا حذفشده. اگر این دو قدم برایتان تازه است، سئو تکنیکال همینها را کاملتر توضیح میدهد.
- هدر Link بفرستید. با یک افزونهی کوچک یا یک قانون Nginx.
- Markdown بدهید. قابلیت Markdown for Agents کلادفلر فقط در پلنهای پولی Pro، Business و Enterprise است. پس برای بیشتر سایتهای ایرانی این کار روی خود سرور یا با افزونه انجام میشود. افزونهی کش صفحه باید نسخهی HTML و Markdown را جدا نگه دارد؛ وگرنه به آدم Markdown میرسد و به ایجنت HTML.
- llms.txt بنویسید، اگر خواستید. افزونهی Yoast SEO میتواند llms.txt بسازد، ولی خروجیاش فهرست صفحههاست. یک متن فارسی کوتاه که خودتان بنویسید، مفیدتر است.
- ابزار بسازید، با احتیاط. وردپرس ۶٫۹ در هستهاش Abilities API را دارد. MCP Adapter رسمی وردپرس کارهای ثبتشده در آن را به ابزار MCP تبدیل میکند. هر کار پیشفرض خصوصی است تا خودتان عمومیاش کنید. MCP خود ووکامرس را برای عموم باز نکنید. مستندات ووکامرس آن را «پیشنمایش توسعهدهنده» و برای مدیریت فروشگاه میداند، و خودش دربارهی اطلاعات شخصی مشتریها هشدار میدهد. برای خریدار فقط ابزارهای خواندنی بسازید: جستجوی محصول، قیمت و موجودی، شرایط ارسال.
- کارتها را منتشر کنید. کارت سرور MCP، کاتالوگ API، فهرست مهارتها و کاتالوگ ARD چند فایل JSON در /.well-known/ هستند. WebMCP را هم روی فرم جستجو یا تماس بگذارید.
- DNS-AID را آخر بگذارید. این کار فقط وقتی شدنی است که DNS شما رکورد SVCB و امضای DNSSEC داشته باشد و ثبتکنندهی دامنه رکورد DS را بپذیرد. برای دامنهی ir این را باید در پنل ثبتکننده دید. اگر نشد، فقط یک بررسی پیشنویس کم دارید.
- دوباره تست کنید. با هر دو ابزار، و نتیجه را کنار اندازهگیری روز اول بگذارید.
پیش از هر تغییر بزرگ پشتیبان بگیرید. بعد از آن سرعت سایت را دوباره تست کنید تا مطمئن شوید چیزی کند نشده است. اگر هاست اجازهی تغییر هدر و فایل ریشه را نمیدهد، شاید وقت سرور جدا برای وردپرس رسیده باشد.
تست آمادگی سایت برای هوش مصنوعی چه چیزهایی را نمیگوید
این بررسیها عامل رتبهی گوگل نیستند. گوگل در راهنمای ویژگیهای هوش مصنوعی جستجو میگوید برای آمدن در AI Overviews و AI Mode هیچ فایل ماشینخوان یا نشانهگذاری تازهای لازم نیست؛ همان ایندکس شدن و سئوی درست کافی است. تست صفحههای داخلی را هم نمیبیند. دربارهی پیشنهاد شدن در جواب ChatGPT هم چیزی نمیگوید؛ پرسش اول پایین همین را باز میکند.
خودتان، یا با کمک تیم سفید
همهی کارهای بالا را خودتان هم میتوانید انجام دهید. نتیجهی تست آمادگی سایت برای هوش مصنوعی برای هر بررسی ردشده، راه درست کردن و دستور آماده دارد. این دستورها را میشود یکجا کپی کرد و به برنامهنویس یا ایجنت کدنویسی سپرد. این کمک بیشرط است، حتی اگر هیچوقت چیزی از ما نخرید.
اگر ترجیح میدهید کار را بسپارید، خدمت آمادهسازی سایت برای ایجنتهای هوش مصنوعی همین مسیر را انجام میدهد: ۱۰ میلیون تومان، یک بار، در ۷ روز، با ۷ روز پشتیبانی رایگان. این خدمت از ۱۵ بررسی شمردهشده، ۱۲ تا را پوشش میدهد. ورود ایجنت به جای کاربر (دو فایل OAuth و auth.md) پروژهی جداست. اگر همهی موردهای مربوط به سایت شما انجام شود، با همان فرمول امتیاز ۸۰ میشود و بدون DNS-AID ۷۳، که همان عدد همین سایت است. قبل و بعد کار را با هر دو ابزار میسنجیم. تیم سفید این مسیر را اول روی سایت خودش رفته است.
پرسشهای رایج
امتیاز بالا یعنی در جواب ChatGPT میآیم؟
نه بهتنهایی. باز بودن در برای ربات جستجوی ChatGPT لازم است، چون OpenAI خودش میگوید سایتی که OAI-SearchBot را ببندد در جوابهای جستجو نمیآید. ولی کافی نیست. امتیاز بالا یعنی ایجنت در راه رسیدن به سایت شما مانعی ندارد. این شانس شما را بالا میبرد، ولی تضمین نمیکند. اینکه ایجنت شما را انتخاب کند، به محتوا، اعتبار، قیمت و خیلی چیزهای دیگر هم بستگی دارد.
چرا عدد این تست با ابزارهای خارجی فرق میکند؟
بررسیها یکی است؛ جای تست و شیوهی شمارش نه. تست ما از تهران انجام میشود و ابزارهای خارجی از بیرون ایران. مثلا سایتی که فقط به IP ایران جواب میدهد، یا فایلی که بین دو تست عوض شده، دو عدد متفاوت میسازد. بررسیهایی که ورود یا توکن میخواهند هم در امتیاز ما نیستند. WebMCP را هم ما از کد صفحه و بدون مرورگر میخوانیم.
هر چند وقت یک بار تست کنم؟
بعد از هر تغییر در سرور، CDN، افزونهی امنیتی یا افزونهی سئو. نتیجهی هر تست با تاریخش در تاریخچهی همان سایت میماند تا قبل و بعد را کنار هم ببینید.
این تست به سایت من فشار میآورد؟
نه. هر تست فقط چند درخواست کوچک به صفحهی اصلی و فایلهای عمومی میفرستد. همان سایت هم تا ده دقیقه دوباره تست نمیشود.
ثبت سایت در چت جی پی تی چقدر طول میکشد؟
فرم ثبتی نیست که منتظر تاییدش بمانید. وقتی در را برای OAI-SearchBot باز کردید، به گفتهی OpenAI حدود ۲۴ ساعت طول میکشد تا سیستمهای جستجویش تغییر robots.txt را ببینند. بعد از آن، اینکه کی و برای چه پرسشی سایت شما در جواب بیاید، دست خود ChatGPT است.
GPTBot را در robots.txt ببندم؟
اگر نمیخواهید محتوای سایت در آموزش مدلهای OpenAI به کار برود، بله؛ با یک گروه «User-agent: GPTBot» و «Disallow: /». OpenAI میگوید GPTBot برای آموزش مدل است و جدا از OAI-SearchBot تنظیم میشود. پس بستنش سایت را از جستجوی ChatGPT بیرون نمیبرد. بعد از این کار، تست ما بررسی «قانون رباتهای هوش مصنوعی» را هم قبول میکند، چون برای یک ربات هوش مصنوعی قانون صریح نوشتهاید.