بارها گفته‌ایم که خزیدن یکی از جنبه‌های مهم سئو است. و بنابراین بهینه سازی خزیدن سایت کاری است که باید انجام دهید. استفاده از ابزارهایی مانند Yoast SEO Premium می تواند این کار را برای شما آسان تر کند.
به همین دلیل است که در Yoast SEO Premium 18.6، اولین افزودنی را به تنظیمات خزیدن خود معرفی کردیم، به شما این امکان را می‌دهد که بهتر مدیریت کنید که موتورهای جستجو چه چیزی را می‌توانند در سایت خود نادیده بگیرند. در این بخش که هنوز در مرحله بتا است، می‌توانید کلیدهای بسیاری را بیابید که به شما امکان می‌دهند موارد مختلفی را که وردپرس به‌طور خودکار به سایت شما اضافه می‌کند و اکثر سایت‌ها از دست نمی‌دهند، غیرفعال کنید. در Yoast SEO Premium 18.7، فهرست تنظیماتی را که می‌توانید تغییر دهید گسترش داده‌ایم و در نسخه‌های بعدی Yoast SEO Premium به این کار ادامه خواهیم داد.
آیا می خواهید همه چیز را در مورد خزیدن بدانید؟
این طوری نیست که همه چیز باید باشد. در بیشتر موارد، بعید است که در یک روز مشخص، چندین تغییر در URL ایجاد کنید. ناگفته نماند، تقریباً هر CMS نشانی‌های اینترنتی خروجی را تولید می‌کند که منطقی نیست که خزنده‌ها می‌توانند با خیال راحت از آنها عبور کنند. اما به جای نادیده گرفتن این آدرس‌ها، خزنده‌ها هر بار که با یک آدرس اینترنتی روبرو می‌شوند، دوباره و دوباره آنها را می‌خزند. تمام این خزیدن غیر ضروری منابع انرژی را می گیرد که باعث می شود این یک عمل مضر برای سیاره ما.
اگرچه خزیدن فقط اصول اولیه سئوی فنی است (با تمام مواردی که گوگل را قادر می‌سازد تا سایت شما را فهرست کند) انجام می‌شود، اما در حال حاضر برای اکثر مردم چیزهای بسیار پیشرفته‌ای است. با این وجود، اگر مسدود می کنید – شاید حتی بدون اینکه بدانید! – خزنده های سایت شما، هرگز در گوگل رتبه بالایی نخواهید داشت. بنابراین، اگر در مورد سئو جدی هستید، این باید برای شما مهم باشد.
ماریکه رئیس استراتژی Yoast و بنیانگذار آکادمی Yoast SEO است. او دوست دارد ایده ها و محصولات جدیدی ارائه دهد تا SEO را برای همه قابل دسترس کند و از رشد سالم Yoast اطمینان حاصل کند!
منبع
اگر واقعاً می خواهید تمام جنبه های فنی خزیدن را درک کنید، باید آموزش SEO فنی ما را بررسی کنید. این دوره آموزشی سئو به شما یاد می دهد که چگونه مسائل فنی سئو را شناسایی کرده و آنها را حل کنید (با افزونه Yoast SEO). Yoast SEO Academy بدون هزینه اضافی در اشتراک Premium شما گنجانده شده است.
بیشتر بخوانید: اصول سئو: گوگل چه می کند »
و خزیدن چیست؟
موتور جستجویی مانند گوگل از یک خزنده، یک فهرست و یک الگوریتم تشکیل شده است. خزنده پیوندها را دنبال می کند. هنگامی که خزنده Google – همچنین به عنوان Googlebot شناخته می شود – وب سایت شما را پیدا می کند، آن را رندر می کند، آن را می خواند و محتوا را در فهرست ذخیره می کند.
خزنده ها ممکن است چندین بار در روز به سایت شما بیایند. گاهی اوقات آنها برای کشف محتوای جدید از سایت شما بازدید می کنند، گاهی اوقات برای بررسی اینکه آیا به روز رسانی جدیدی وجود دارد یا خیر مراجعه می کنند. اما هر بار که آنها به سایت شما می رسند، مطمئناً می خزند هر چیزی که برای آنها شبیه یک URL است. به همین دلیل، احتمال اینکه یک URL چندین بار در روز خزیده شود بسیار زیاد است.
خزیدن با امکاناتی که گوگل برای خزیدن وب سایت شما دارد، ارتباط دارد. می توانید خزنده ها را در سایت خود مسدود کنید. چند راه برای مسدود کردن خزنده از وب سایت شما وجود دارد. اگر وب سایت یا صفحه ای در وب سایت شما مسدود شده است، به خزنده گوگل می گویید: «اینجا نیایید». سایت شما یا صفحه مربوطه در اکثر این موارد در نتایج جستجو ظاهر نمی شود.
رتبه بندی در موتورهای جستجو به یک وب سایت با سئوی فنی بی عیب و نقص و محتوای عالی و مرتبط نیاز دارد. خوشبختانه، افزونه Yoast SEO از (تقریبا) همه چیز در سایت وردپرس شما مراقبت می کند. با این حال، اگر واقعاً می‌خواهید بیشترین بهره را از وب‌سایت خود ببرید و از رقبا پیشی بگیرید، دانش اولیه سئو فنی ضروری است. در این پست یکی از مهمترین مفاهیم سئو فنی را توضیح خواهیم داد: خزیدن.
دوباره خزنده چیست؟
به خواندن ادامه دهید: سئوی فنی چیست: 8 جنبه که همه باید بدانند »
ماریکه ون د راکت
یک خزنده پیوندها را در وب دنبال می کند. به خزنده ربات، ربات یا عنکبوت نیز گفته می شود. 24/7 در سراسر اینترنت می چرخد. هنگامی که به یک وب سایت می رسد، نسخه HTML را در یک پایگاه داده غول پیکر به نام ایندکس ذخیره می کند. این شاخص هر بار که خزنده به وب سایت شما می آید و نسخه جدید یا اصلاح شده آن را پیدا می کند، به روز می شود. بسته به اینکه گوگل چقدر سایت شما را مهم می‌داند و تعداد تغییراتی که در وب‌سایت خود ایجاد می‌کنید، خزنده بیشتر یا کمتر مورد استفاده قرار می‌گیرد.
چند چیز وجود دارد که می تواند گوگل را از خزیدن (یا ایندکس) وب سایت شما باز دارد:
- اگر فایل robots.txt شما خزنده را مسدود کند، گوگل به وب سایت یا صفحه وب خاصی شما نمی آید.
- قبل از خزیدن وب سایت شما، خزنده نگاهی به هدر HTTP صفحه شما می اندازد. این هدر HTTP حاوی یک کد وضعیت است. اگر این کد وضعیت می گوید که صفحه ای وجود ندارد، گوگل وب سایت شما را نمی خزند. در ماژول مربوط به هدرهای HTTP آموزش SEO فنی ما همه چیز را به شما خواهیم گفت.
- اگر متا تگ روبات در یک صفحه خاص، موتور جستجو را از فهرست کردن آن صفحه مسدود کند، گوگل آن صفحه را می‌خزد، اما آن را به فهرست خود اضافه نمی‌کند.
خزیدن سایت خود را با Yoast SEO Premium بهبود بخشید