با اعلام این خبر، تمام درخواست های پینگ نقشه سایت – HTTP ping requests در کنسول بصورت 404 نمایش داده می شود.
در پروتکل سایت مپ از متد REST برای ارسال فایل sitemap به موتورهای جستجو استفاده می شود. REST یک معماری برای سیستم های توزیع شده است که برای انتقال داده ها از طریق پروتکل HTTP استفاده می کند. با استفاده از متد REST، موتورهای جستجو می توانند از طریق ارسال درخواست HTTP به Endpoint sitemap، فایل sitemap را دریافت کنند. ( که اکنون منسوخ شده است )
http://www.google.com/ping?sitemap=http://www.example.com/sitemap.xml
گوگل می گوید: ارسال sitemap از طریق متد REST بصورت unauthenticated REST method صورت گرفته و نیازی به احراز هویت یا ورودی به سیستم نیست و تنها با استفاده از متد REST می توان فایل sitemap را برای موتور جستجو ارسال کرد. این رویکردی است که بر اساس بررسی های ما از جمله بر روی موتور جستجوی بینگ، آن را عملی بی فایده و غیرسودمند دانسته و در بسیاری مواقع هم بصورت اسپم نیز شناسایی می کنیم.
نکته: پینگ های unauthenticated REST method در End Point برای موتورهای جستجو می تواند اسپم باشد.
گوگل می گوید: شما می توانید مانند همیشه نقشه های سایت خود را از طریق کنسول جستجو و robots.txt مشخص کنید ولی توصیه هایی که در ادامه هنوان می کنیم را مد نظر قرار دهید.
در نقشه سایت به lastmod توجه کنید.
هرچند پیش از این نیز به مفهوم بروزرسانی محتوا و استفاده از تاریخ lastmodified در صفحه اشاره شده بود، اما اینبار گوگل بطور واضح اعلام کرده که تغییر در یک صفحه و یا محتوا باید بطور اساسی صورت گرفته باشد و صرفا حاشیه نویسی و یا چند تغییر جزئی در گوشه کنار صفحه اصلا به معنی ویرایش و تغییر نیست. گوگل تاکید می کند زمانی از عنصر lastmod در فایل نقشه سایت خود استفاده کنید که مطمئن هستید صفحه واقعا تغییر کرده است.
و اما موضوع حساس تری که بنوعی یک مساله فنی هم بحساب می آید، بحث بروز شدن lastmod است. اگر CMS شما یک متن ناچیز را در ساید صفحه یا پاورقی تغییر داده است به این معنی نیست که مقدار lastmod آن صفحه را بروزرسانی کنید. با این حال، اگر متن اصلی یا بعضی لینک ها و اسکیمای صفحه را تغییر داده اید می توانید مقدار lastmod را به‌روزرسانی کنید.
بروزرسانی محتوا صرفا به معنی تغییرات در افعال و ویرایش چند خط نیست. محتوا وقتی بروز می شود که تغییر به معنی واقعی کلمه بر روی مفهوم یا موضوعی بخصوص و اساسی صورت گرفته شده باشد.
گوگل می تواند براحتی به تاریخ های بروز رسانی شما بی اعتماد شود و آنها را ایگنور کند، حتی اگر بی اطلاع باشید.
گوگل می گوید: lastmod واقعا در بسیاری از موارد مفید است و ما از آن به عنوان سیگنالی برای زمان بندی خزش پیوندهایی که قبلا دیسکاور شده استفاده می کنیم. توصیه می کنیم به این دو نکته برای بهترین بهره وری از lastmode استفاده کنید تا همه چیز بخوبی پیش برود:
1. تاریخ درج شده در lastmod را باید بررسی کنید تا مطابق استانداردهای نقشه سایت باشد. اگر مشکلی در تاریخ نقشه وجود داشته باشد، کنسول به شما هشدار خواهد داد.
2. موضوع سرنوشت ساز دیگر این است که تاریخ lastmod باید با واقعیت مطابقت داشته باشد. اگر صفحه شما چند سال پیش تغییر کرده اما در عنصر lastmod به ما بگویید که دیروز تغییر کرده، وقتی صفحه را واقعا تغییر دهید و نقشه بروز شود، ما دیگر حرف شما را باور نخواهیم کرد.
گوگل می گوید: شما می توانید از عنصر lastmod برای تمام صفحات نقشه و یا فقط برای صفحاتی که اطمینان دارید استفاده کنید. این یعنی وجود عنصر lastmod برای تمام آدرسها اجباری نیست و بروزرسانی آن است که اهمیت دارد.
برای مثال بعضی نرم افزارهای سایت ممکن است قادر نباشند به راحتی تاریخ آخرین تغییر صفحه دسته‌بندی را تعیین کنند زیرا فقط صفحات دیگر را در سایت محاسبه می‌کنند. به بیان دیگر تاریخ بروزرسانی بعضی صفحات مانند دسته بندی ها بصورت تجمیعی از اطلاعات سایر صفحات همان دسته بندی استخراج می شود.
گاهی نرم افزار سایت نمی تواند به راحتی تاریخ آخرین تغییر صفحه دسته بندی را تعیین کند زیرا اطلاعات مربوط به آن از اطلاعات سایر صفحات در همان دسته ارایه می شود. به طور مثال، یک سایت خبری ممکن است چندین مقاله در یک دسته بندی داشته باشد که در این صورت، اطلاعات مربوط به تاریخ آخرین تغییر صفحه دسته بندی توسط نرم‌افزار سایت از تاریخ های آخرین تغییر مقالات در آن دسته بندی تجمیع می شود. در نتیجه نرم افزار سایت نمی تواند به راحتی تاریخ آخرین تغییر صفحه دسته بندی را تعیین کند که در این صورت استفاده از عنصر lastmod برای آن صفحه ضروری نیست.
گوگل توصیه کرده می کند هرچند تاریخ آخرین تغییر هر صفحه با استفاده از عنصر lastmod مشخص می شود، اما در صورتی که برای برخی صفحات نمی توانید تاریخ آخرین تغییر را مشخص کنید، این عنصر را حذف کنید.
می رسیم به آدرس http که در xmlns تعریف شده و این سوال را برای بعضی ها پیش آورده که چرا https نیست. گوگل بطور غیر مستقیم می گوید این ترکیب آدرس باید به همین شکل باشد.
در فایل XML نقشه سایت، به منظور شناسایی و تعریف فضای نام مورد استفاده، باید از ویژگی xmlns استفاده کرد. به عبارت دیگر ویژگی xmlns به شما اجازه می دهد تا فضای نام مورد استفاده در فایل XML نقشه سایت را مشخص کنید. xmlns به عنوان یک ویژگی اختیاری در تگ اصلی فایل XML نقشه سایت قرار می گیرد و معمولا با مقدار “http://www.sitemaps.org/schemas/sitemap/0.9” تنظیم می شود تا فضای نام مربوط به نقشه سایت را مشخص کند.
اگر بخواهیم بیشتر توضیح دهیم، برای تعریف فایل XML نقشه سایت باید تگ اصلی را با نام urlset و ویژگی xmlns با مقدار “http://www.sitemaps.org/schemas/sitemap/0.9” تعریف کنید. این ویژگی به موتورهای جستجو اطلاع می دهد که فایل XML شامل نقشه سایت است و باید برای خواندن و پردازش به این فرمت از آن استفاده کنند.
می رسیم به بحث حساس دیگری که به استفاده از changefreq اشاره دارد.
گوگل از عناصر changefreq و priority استفاده نمی کند. به نظر می رسد عنصر changefreq از نظر مفهومی با lastmod همپوشانی دارد و کانتکست عنصر priority هم بسیار ذهنی است که اولویت واقعی یک صفحه را نسبت به سایر صفحات یک سایت به درستی منعکس نمی کند.
در این سند راهنما به این نکات توجه بیشتری شده است:
1. گوگل دیگر از Ping نقشه سایت و متد REST پشتیبانی نمی کند و آن را عملی بی فایده و غیر سودمند می داند که در بسیاری مواقع بصورت اسپم نیز شناسایی می شود.
2. تمام درخواست های Ping نقشه سایت 404 خواهد شد پس اگر در کدنویسی سایت و یا نرم افزار سایت و افزونه ها از این متد استفاده می شود از همین الان مطمئن شوید که آن را کنار می گذارید.
3. گوگل استفاده از عنصر lastmod را در نقشه سایت توصیه می کند ولی به نکاتی هم اشاره کرده که حائز اهمیت است. تاریخ lastmod یعنی یک تغییر اساسی در صفحه و صرف چند ویرایش عادی به معنی تغییر تاریخ بروزرسانی صفحه نیست و برای چنین چیزی نباید lastmod را تغییر داد.
4. اگر تاریخ بروزرسانی صفحه مربوط به زمانی باشد که با تاریخ lastmod مغایر است، گوگل به تاریخ بروزرسانی شما بی اعتماد می شود و آن را نادیده میگیرد. این یعنی اگر واقعا بروزرسانی روی صفحه انجام شود و تاریخ lastmod را نیز بروز کنید، گوگل از آن صرف نظر کرده و ارزیابی خودش را انجام می دهد.
5. می توانید از عنصر lastmod برای صفحاتی که واقعا مطمئن هستید تغییر کرده استفاده و برای آدرس صفحات آن را بکار نگیرید.
6. گوگل از عناصر changefreq و priority استفاده نمی کند زیرا از نظر مفهومی با lastmod همپوشانی داشته و یا اولویت واقعی یک صفحه را نسبت به سایر صفحات یک سایت به درستی منعکس نمی کند.
نکته: با توجه اهمیت خبر منشتر شده، برای درک بهتر بعضی تعاریف، توضیحات بیشتری ارایه شده است.