اگر کد وضعیت 4xx ارائه شود، Google دستورالعمل‌های Robots.txt را نادیده می‌گیرد

اکتبر 9, 2023ژانویه 17, 2023 از خدایار

گری نوشت لینکدین، “PSA از صندوق ورودی من: اگر robotstxt خود را با کد وضعیت HTTP 403 ارائه کنید، همه قوانین موجود در فایل توسط Googlebot نادیده گرفته می شود. خطاهای مشتری (4xx، به جز 429) به معنی robotstxt در دسترس نیست، مانند 404 و 403 در این مورد معادل هستند.”

به طور خلاصه، مطمئن شوید که فایل robots.txt شما دارای کد وضعیت 200 است و Google می تواند به آن دسترسی داشته باشد.

بحث انجمن در لینکدین.

منبع

در اینجا PSA دیگری از Gary Illyes از گوگل است. به طور خلاصه، اگر کد وضعیت 4xx را با فایل robots.txt خود ارائه دهید، گوگل قوانینی را که در آن فایل مشخص کرده اید نادیده می گیرد.

چرا؟ خوب، کدهای وضعیت 4xx به این معنی است که سند در دسترس نیست، بنابراین Google آن را بررسی نمی کند زیرا سرور می گوید در دسترس نیست. گری این را گفت زیرا او یک یا دو شکایت در مورد عدم رعایت قوانین robots.txt توسط گوگل دریافت کرد.