صفحاتی که کدهای وضعیت HTTP 4xx (به جز 429) ارائه می‌دهند، بودجه خزیدن را هدر نمی‌دهند. گوگل سعی کرد صفحه را بخزد، اما یک کد وضعیت دریافت کرد و محتوای دیگری دریافت نکرد.
گوگل استفاده از کدهای وضعیت Noindex و 404 را برای استفاده از بودجه Crawl روشن می کند
روز جمعه، لیزی ساسمن از گوگل سند راهنمای مدیریت بودجه خزیدن را با دو موضوع دیگر به روز کرد. به طور خاص، گوگل دو افسانه جدید را به اسناد بودجه خزیدن اضافه کرد.
(1) گوگل اضافه کرد که استفاده از noindex راه خوبی برای کنترل بودجه خزیدن نیست، اما می تواند روشی برای آزادسازی غیرمستقیم بودجه خزیدن در دراز مدت باشد.
اینجا جایی است که گوگل آنها را اضافه کرد، درست در پایین:
هر URL که خزیده می شود بر بودجه خزیدن تأثیر می گذارد و Google باید صفحه را بخزد تا قانون noindex را پیدا کند.
(2) همچنین صفحاتی که کدهای وضعیت 4xx را ارائه می دهند (به جز 429) بودجه خزیدن را هدر نمی دهند، گوگل نوشت.