گوگل استفاده از کدهای وضعیت Noindex و 404 را برای استفاده از بودجه Crawl روشن می کند


روز جمعه، لیزی ساسمن از گوگل سند راهنمای مدیریت بودجه خزیدن را با دو موضوع دیگر به روز کرد. به طور خاص، گوگل دو افسانه جدید را به اسناد بودجه خزیدن اضافه کرد.

(1) گوگل اضافه کرد که استفاده از noindex راه خوبی برای کنترل بودجه خزیدن نیست، اما می تواند روشی برای آزادسازی غیرمستقیم بودجه خزیدن در دراز مدت باشد.

(2) همچنین صفحاتی که کدهای وضعیت 4xx را ارائه می دهند (به جز 429) بودجه خزیدن را هدر نمی دهند، گوگل نوشت.

اینجا جایی است که گوگل آنها را اضافه کرد، درست در پایین:

هر URL که خزیده می شود بر بودجه خزیدن تأثیر می گذارد و Google باید صفحه را بخزد تا قانون noindex را پیدا کند.

با این حال، noindex وجود دارد تا به شما کمک کند چیزهایی را از ایندکس دور نگه دارید. اگر می خواهید مطمئن شوید که آن صفحات در فهرست گوگل قرار نمی گیرند، به استفاده از noindex ادامه دهید و نگران بودجه خزیدن نباشید. همچنین مهم است که توجه داشته باشید که اگر URL ها را از فهرست گوگل با noindex یا موارد دیگر حذف کنید، Googlebot می تواند روی URL های دیگر در سایت شما تمرکز کند، به این معنی که noindex می تواند به طور غیرمستقیم مقداری از بودجه خزیدن را در دراز مدت برای سایت شما آزاد کند.

صفحاتی که کدهای وضعیت HTTP 4xx (به جز 429) ارائه می‌دهند، بودجه خزیدن را هدر نمی‌دهند. گوگل سعی کرد صفحه را بخزد، اما یک کد وضعیت دریافت کرد و محتوای دیگری دریافت نکرد.

برای اندازه واقعی کلیک کنید

بحث انجمن در ماستودون.



منبع