به طور خلاصه، هر کاری که می توانید انجام دهید تا ببینید آیا سایت شما برای Googlebot قابل دسترسی است یا خیر. می توانید از ابزار بازرسی URL در کنسول جستجوی گوگل به عنوان یک روش استفاده کنید. همچنین، با CDN یا شرکت فایروال خود تأیید کنید که آنها به Googlebot اجازه می دهند و از آنها بخواهید آن را ثابت کنند.
بحث انجمن در لینکدین است.
منبع
پس چه کاری می توانید انجام دهید؟ گری گفت: “من قبلاً این را گفته ام، اما می خواهم دوباره روی آن تاکید کنم: عادت کنید قوانین بلاک خود را بررسی کنید. ما محدوده IP خود را منتشر می کنیم بنابراین اجرای اتوماسیونی که قوانین بلوک را در برابر googlebot بررسی می کند بسیار آسان است. زیر شبکه ها.”
گری ایلیس از گوگل یک PSA جدید پست کرد لینکدین است گفته می شود که رایج ترین دلیلی که یک سایت به طور غیرمنتظره خزیدن Googlebot را مسدود می کند، به دلیل پیکربندی نادرست فایروال یا CDN است.
گری نوشت: “بررسی کنید که فایروال ها و CDN شما چه ترافیکی را مسدود می کنند.” “تا حد زیادی رایج ترین مشکل در صندوق ورودی من مربوط به فایروال ها یا CDN هایی است که ترافیک googlebot را مسدود می کنند. اگر به سایت مسدود کننده مراجعه کنم، در اکثر موارد مسدود شدن ناخواسته است.”