گوگل به‌تازگی در مقاله‌ای منتشر کرده و در آن توضیح می‌دهد شبکه‌های تحویل محتوا (CDNها) چگونه بر خزیدن موتور جستجو تأثیر می‌گذارند و سئو را بهبود می‌بخشند، اما همچنین چگونه گاهی ممکن است مشکلاتی ایجاد کنند.
CDN یا شبکه تحویل محتوا، کپی صفحات وب را در سرورهایی نزدیک‌تر به کاربران ذخیره می‌کند. این کار سرعت بارگذاری را افزایش می‌دهد؛ زیرا مسیر داده‌ها بین مرورگر و سرور کوتاه‌تر می‌شود.
استفاده از CDN می‌تواند نرخ خزیدن (Crawl Rate) را افزایش دهد. گوگل با تشخیص اینکه صفحات از CDN ارائه می‌شوند، میزان خزیدن را بالا می‌برد و این موضوع برای سایت‌های بزرگ یا فروشگاه‌های اینترنتی با تعداد زیادی صفحه مفید است.
اما نکته مهم این است که در اولین دسترسی به یک URL، صفحات باید مستقیماً از سرور اصلی بارگذاری شوند تا کش سی‌دی‌ان، Warm شود. این مسئله بار سنگینی بر بودجه خزیدن (Crawl Budget) ایجاد می‌کند و احتمالاً نرخ خزیدن برای چند روز بالا خواهد بود؛ بنابراین اگر قصد دارید تعداد زیادی URL را همزمان منتشر کنید، این موضوع را در نظر بگیرید.
در برخی موارد، CDNها می‌توانند مانعی برای خزیدن Googlebot ایجاد کنند:
- مسدودسازی سخت (Hard Blocks):
خطاهای سرور مثل کدهای 500 و 502 باعث کاهش نرخ خزیدن و حتی حذف URLها از فهرست گوگل می‌شوند. بهترین پاسخ در این شرایط، کد 503 است که نشان‌دهنده خطای موقتی است.
- مسدودسازی نرم (Soft Blocks):
اگر CDN پنجره تأیید هویت (مانند «آیا شما انسان هستید؟») را به Googlebot نمایش دهد و کد 503 ارسال نشود، گوگل ممکن است محتوای سایت را نبیند و این مسئله بر ایندکس سایت تأثیر بگذارد.
راهکارهای پیشنهادی گوگل
- از ابزار URL Inspection در سرچ کنسول گوگل برای بررسی نحوه نمایش صفحات توسط CDN استفاده کنید.
- فایروال (WAF) سی‌دی‌ان را کنترل کرده و مطمئن شوید که Goglebot به اشتباه مسدود نشده باشد.
- به طور دوره‌ای لیست‌های مسدودسازی را بازبینی کنید.
…
منبع: خبرنامه سئو تریبون
