در عوض، او گفت که گوگل اسنادی در مورد چگونگی انجام این کار دارد نرخ خزیدن Googlebot را کاهش دهید. او افزود: «در عوض آن را بخوانید و یاد بگیرید که چگونه به طور مؤثر نرخ خزیدن Googlebot را مدیریت کنید.
گری نیز در این پست ارسال کرد لینکدین گفت: “جمعه رامبل… رامبل؟ یکی از آن ها. به هر حال: کدهای وضعیت 403 و 404 به شما کمک نمی کنند تا سرعت خزیدن را به سرعت کاهش دهید. اگر هر چیزی ممکن است اثر معکوس داشته باشد. ما اسنادی در مورد چگونگی کاهش نرخ خزیدن داریم. و جای تعجب نیست که 403/404 در آنها نیست.”
گری ایلیز ارسال شده یک پست وبلاگ جدید در سایت جستجوی مرکزی گوگل که از همه شما می‌خواهد استفاده از کدهای وضعیت سرور 403 و 404 را برای کاهش نرخ خزیدن Googlebot متوقف کنید. او گفت که آنها شاهد افزایش تعداد سایت‌ها و CDNهایی بوده‌اند که این کار را انجام می‌دهند و باید آن را قطع کنند.
گری نوشت: «در چند ماه گذشته شاهد افزایشی در مالکان وب‌سایت و برخی از شبکه‌های تحویل محتوا (CDN) بودیم که سعی می‌کردند از خطاهای 404 و سایر خطاهای مشتری 4xx (اما نه 429) برای کاهش نرخ خزیدن Googlebot استفاده کنند.» وی افزود: “نسخه کوتاه این پست وبلاگ این است: لطفا این کار را نکنید.”
بحث انجمن در لینکدین.