یکی از خطاهایی که ممکنه در ابزار URL inspection گوگل سرچ کنسول باهاش برخورد کنید، عبارت «Indexing Request Rejected» هست که با درخواست Live URL test (آزمایش زنده آدرس اینترنتی) نشون داده میشه
این خطا زمانی نشون داده میشه که ابزار تست زنده URL به هر دلیلی امکان خزیدن در URL وارد شده رو نداشته باشه.
چرا بات های گوگل در زمان انجام این تست نتونستن به URL ما دسترسی داشته باشند؟
این خطا معمولا به خاطر مسدود کردن صفحه در فایل robots.txt به وجود میاد. اگه URL وارد شده یا کل دامنه رو توی این فایل وارد کنید، به ربات های گوگل میگید همون راهی که اومدن برگردن و اجازه خزیدن در صفحه شما رو ندارن.
یک علت دیگه این خطا ممکنه این باشه که قبلا یک سری صفحات رو مسدود کردید، اما حالا که اونا رو به حالت طبیعی برگردوندید هنوز ربات های گوگل به URLهای شما سر نزدن و همچنان ارور Indexing request rejected رو در سرچ کنسول می بینید.
برای اینکه ببینید وضعیت فایل robots.txt سایتتون چطوره، کافیه آدرس سایت رو در مرورگر تایپ کنید و آخرش /robots.txt قرار بدید.
وارد کردن این آدرس، به یک صفحه سفید می رسیم که اگه چیزی توی فایل robots.txt ثبت شده باشه، نشون‌مون میده.
اگه دیدید دستور «Disallow: /» توی این فایل وجود داره، یعنی خزیدن ربات های گوگل رو مسدود کردید.
برای این که این دستور رو تغییر بدید باید به هاستینگ و روت سایت دسترسی داشته باشید. از پنل کاربری هاستینگ وارد مدیریت فایل ها بشید و در پوشه Public_html به دنبال فایل robots.txt بگردید. اگه پیداش نکردید می تونید از بخش جستجو در مدیریت فایل ها استفاده کنید.
اگه اطلاعاتی از دستورات این فایل ندارید، بهتره اونو خالی بذارید .
در نهایت تغییرات رو ذخیره کنید و منتظر باشید تا ربات های گوگل به سراغ URL شما برن.
نکته: توقع نداشته باشید همون ساعتی که فایل robots.txt رو تغییر دادید، خطای indexing request rejected برطرف بشه. بذارید چند ساعتی از تغییرات بگذره و دوباره به سراغ Live URL test برید