با این حال، noindex وجود دارد تا به شما کمک کند چیزهایی را از ایندکس دور نگه دارید. اگر می خواهید مطمئن شوید که آن صفحات در فهرست گوگل قرار نمی گیرند، به استفاده از noindex ادامه دهید و نگران بودجه خزیدن نباشید. همچنین مهم است که توجه داشته باشید که اگر URL ها را از فهرست گوگل با noindex یا موارد دیگر حذف کنید، Googlebot می تواند روی URL های دیگر در سایت شما تمرکز کند، به این معنی که noindex می تواند به طور غیرمستقیم مقداری از بودجه خزیدن را در دراز مدت برای سایت شما آزاد کند.
صفحاتی که کدهای وضعیت HTTP 4xx (به جز 429) ارائه می‌دهند، بودجه خزیدن را هدر نمی‌دهند. گوگل سعی کرد صفحه را بخزد، اما یک کد وضعیت دریافت کرد و محتوای دیگری دریافت نکرد.
روز جمعه، لیزی ساسمن از گوگل سند راهنمای مدیریت بودجه خزیدن را با دو موضوع دیگر به روز کرد. به طور خاص، گوگل دو افسانه جدید را به اسناد بودجه خزیدن اضافه کرد.
(2) همچنین صفحاتی که کدهای وضعیت 4xx را ارائه می دهند (به جز 429) بودجه خزیدن را هدر نمی دهند، گوگل نوشت.
بحث انجمن در ماستودون.
