از روز گذشته گزارشهایی منتشر شده که حکایت از کراول شدن سایتهای ایرانی توسط گوگل دارند. از آنجایی که این روند به صورت نشانههایی از کاهش محدودیتهای اینترنتی مطرح میشود، یکی از مهمترین پرسشها برای فعالان حوزه وب و سئو این است که آیا فرآیند کراول و ایندکس سایتهای ایرانی توسط گوگل به حالت عادی بازگشته یا خیر؟
در اینجا به بررسی و پاسخ این مشکل می پردازیم با ما همراه باشید.
رباتهای گوگل سایتهای ایرانی را میبینند اما نه کامل!
#با توجه به وضعیت فنی فعلی فضای ارتباطی کشور باید بگوییم که در سطح زیرساخت، تغییراتی رخ داده که باعث شده رباتهای گوگل بتوانند به بخشی از سرورهای میزبانی داخل کشور دسترسی پیدا کنند.
این اتفاق بهویژه در برخی دیتاسنترهای شناختهشده مشاهده شده و در نتیجه، فرآیند کراول که طی هفتههای گذشته بهشدت مختل شده بود، حالا تا حدی از سر گرفته شده است.
همین موضوع باعث شده برخی سایتها دوباره در چرخه ایندکس قرار بگیرند و نشانههایی از بهبود در وضعیت سئو خود مشاهده کنند. در این حالت باید گفت که دسترسی برای رباتها برقرار شده، اما اینترنت هنوز برای کاربران «باز» نشده است.
در سایت اول که سرور آن با سایت دوم متفاوت است، امکان رویت صفحات وجود ندارد و در سایت دوم، صفحات با موفقیت کراول شدهاند اما واقعیت فنی ماجرا کمی پیچیدهتر از این است. دسترسیای که برقرار شده، یک دسترسی عمومی نیست. در حالی که رباتهای گوگل قادر به مشاهده این سایتها هستند، همان وبسایتها همچنان از خارج کشور و با IPهای بینالمللی یا VPN قابل دسترسی نیستند.
این تناقض نشان میدهد که مسیر ارتباطی بهصورت کامل باز نشده، بلکه تنها برای دستهای خاص از ترافیک، یعنی موتور جستجوی گوگل امکان عبور فراهم شده است.
برای درک تفاوت عملکرد دوگانه کراولرهای گوگل، تصویر زیر که متعلق به صفحه سرچ کنسول دو سایت داخلی است را میتوان مورد بررسی قرار داد. در سایت اول که سرور آن با سایت دوم متفاوت است، امکان رویت صفحات وجود ندارد و در سایت دوم، صفحات با موفقیت کراول شدهاند:
تغییرات در سطح زیرساخت شبکه و فایروالها
#از منظر فنی، چنین وضعیتی معمولاً زمانی رخ میدهد که دسترسی به بازههای مشخصی از IPها در سطح شبکه یا فایروال باز شود یا ترافیک مربوط به رباتهای شناختهشده بهصورت هدفمند اجازه عبور پیدا کند. در این مدل، بدون آنکه اینترنت بینالملل بهطور کامل برقرار شود، امکان دیده شدن سایتها توسط موتورهای جستوجو فراهم میشود؛ اما کاربران واقعی خارج از کشور همچنان پشت همان محدودیتها باقی میمانند.
تغییرات ایجاد شده در همه سرویسدهندگان یکسان نیست
#نکته مهم دیگر، ناپایداری این وضعیت است. این دسترسی در همه دیتاسنترها بهصورت یکسان اعمال نشده و هنوز برخی سرویسدهندگان داخلی با مشکل در کراول مواجهاند. به همین دلیل، نمیتوان از بازگشت کامل شرایط سئو به وضعیت عادی صحبت کرد؛ بلکه آنچه رخ داده، بیشتر شبیه یک راهحل موقت برای جلوگیری از حذف گسترده سایتهای ایرانی از نتایج جستوجو است.
در مجموع، اینترنت برای رباتها تا حدی باز شده، اما برای کاربران هنوز نه. این تفاوت، تصویری روشن از وضعیت فعلی ارائه میدهد: حضور حداقلی در نتایج جستوجو حفظ شده، اما دسترسی واقعی همچنان محدود است.
