گوگل نوشت“Google به طور کلی از هدرهای درخواست HTTP If-Modified-Since و If-None-Match برای خزیدن پشتیبانی می کند. خزنده های Google سرصفحه ها را با تمام تلاش های خزیدن ارسال نمی کنند؛ این بستگی به مورد استفاده درخواست دارد (مثلا AdsBot) به احتمال زیاد هدرهای درخواست HTTP If-Modified-Since و If-None-Match را تنظیم می کند).
گوگل بخش جدیدی را به سند راهنمای مدیریت بودجه خزیدن اضافه کرده است. بخش جدید برای هدر درخواست If-Modified-Since است. این بخش با عنوان “تغییر محتوا با کدهای وضعیت HTTP را مشخص کنید.”
بحث انجمن در توییتر.
منبع
“اگر خزنده های ما سرصفحه If-Modified-Since را ارسال کنند، مقدار هدر تاریخ و زمانی است که محتوا آخرین بار خزیده شده است. بر اساس آن مقدار، سرور ممکن است انتخاب کند که کد وضعیت HTTP 304 (تغییر نشده) را بدون پاسخ برگرداند. بدنه، در این صورت Google از نسخه محتوایی که آخرین بار خزیده است، دوباره استفاده خواهد کرد. اگر محتوا جدیدتر از تاریخ مشخص شده توسط خزنده در سرصفحه If-Modified-Since باشد، سرور می تواند کد وضعیت HTTP 200 (OK) را برگرداند. با بدن پاسخگو.
من مطمئن نیستم که نظری در این مورد داشته باشم، به غیر از این که این بخش جدید به این صفحه اضافه شده است.
“مستقل از سرصفحه‌های درخواست، می‌توانید یک کد وضعیت HTTP 304 (تغییر نشده) و بدون هیچ پاسخی برای درخواست Googlebot ارسال کنید، اگر محتوا از آخرین بازدید Googlebot از URL تغییر نکرده باشد. این باعث صرفه‌جویی در زمان و منابع پردازش سرور شما می‌شود. ، که ممکن است به طور غیرمستقیم کارایی خزیدن را بهبود بخشد.”