وضعیت Crawled – currently not indexed در سرچ کنسول گوگل چیست و چه راهکارهای دارد؟

سرچ کنسول گوگل (GSC) یک ابزار قدرتمند برای صاحبان وب‌سایت می باشد. این ابزار به شما کمک می‌کند تا حضور سایت خود را در نتایج جستجو (SERPs) کنترل کنید. یکی از مشکلات رایجی که ممکن است با آن مواجه شوید، وضعیت Crawled – currently not indexed می باشد. این پیام یعنی گوگل صفحه موردنظر را خزیده (محتوای آن را خوانده) اما ایندکس نکرده است. بنابراین صفحه شما در نتایج جستجو ظاهر نمی شود و این می‌تواند بر ترافیک سایت شما تأثیر بگذارد.

در ادامه، وضعیت Crawled – currently not indexed توضیح داده شده و نکاتی برای بهبود ایندکس شدن مطالب و نمایش سایت در نتایج جستجو ارائه می گردد.

وضعیت Crawled – currently not indexed در سرچ کنسول نشان می‌دهد که گوگل صفحه شما را خزیده (محتوای آن را خوانده) اما ایندکس نکرده است. به این معنی که گوگل از وجود صفحه شما مطلع بوده اما هنوز در فهرست نتایج جستجو (SERPs) نمایش داده نمی شود.

این وضعیت می‌تواند به دلایل مختلفی از جمله کیفیت محتوا، مشکلات فنی یا حتی فرآیند ایندکس گوگل رخ دهد. درک دلیل این اتفاق، اولین قدم برای حل مشکل است. با بررسی عواملی که منجر به این وضعیت می‌شوند، می‌توانید شانس ایندکس شدن و دیده شدن صفحات خود را در نتایج جستجو افزایش دهید.

ابتدا لازم است تا فرآیند خزش و ایندکس را درک کنید. به طور خلاصه، قبل از اینکه محتوای شما در نتایج موتور جستجو ظاهر شود، سه مرحله کلیدی را طی می‌کند: خزش، ایندکس و رتبه‌بندی.

موتورهای جستجو از ربات‌های خودکاری به نام خزنده یا عنکبوت برای کشف صفحات جدید و بروزرسانی‌شده، استفاده می‌کنند. این ربات‌ها لینک‌ها را از صفحات شناخته‌شده به صفحات جدید دنبال کرده و محتوای وب را کاوش و ثبت می‌ نمایند.

پس از خزش، موتور جستجو اطلاعاتی که یافته را پردازش و ذخیره می‌ نماید. این موتور، محتوا، کلیدواژه‌ها و قابلیت استفاده را تجزیه و تحلیل کرده و سپس صفحات باارزش را به فهرست خود اضافه می‌کند.

هنگامی که یک کاربر به جستجو می‌ پردازد، موتور جستجو صفحات مرتبط را از فهرست خود بازیابی کرده و آنها را بر اساس ارتباط، اعتبار و تجربه کاربری رتبه‌بندی می‌کند. صفحات با رتبه بالاتر، ترافیک بیشتری را جذب می‌کنند.

اگر با وضعیت Crawled – currently not indexed مواجه هستید، به این معنی است که فرآیند در مرحله ایندکس متوقف شده و به دلایل نامعلوم، محتوای شما وارد مرحله رتبه‌بندی نمی‌شود.

دلایل زیادی می‌تواند باعث وضعیت Crawled – currently not indexed در کنسول جستجوی گوگل شود. که در ادامه به توضیح هر یک خواهیم پرداخت

ممکن است گوگل محتوای شما را برای ایندکس کردن به اندازه کافی با ارزش نداند. محتوای تکراری یا محتوای ضعیف می‌تواند منجر به این وضعیت شود.

مشکلات فنی نیز می‌توانند مانع از ایندکس شدن صفحات شما توسط گوگل شوند. این مشکلات ممکن است شامل خطاهای سرور، پیکربندی نادرست robots.txt یا وجود تگ‌های noindex باشد. یک وب‌سایت با سازماندهی ضعیف می‌تواند درک و ایندکس محتوای شما توسط گوگل را دشوار نماید. عدم وجود یک سلسله‌مراتب روشن و لینک‌دهی داخلی ناکافی می‌تواند این مشکل را ایجاد کند.

گاهی اوقات، گوگل به زمان بیشتری برای ایندکس محتوای جدید یا بروزرسانی‌شده نیاز دارد. این امر به ویژه برای وب‌سایت‌ها یا صفحات جدید صادق است. رسیدگی به این عوامل می‌تواند شانس ایندکس شدن و دیده شدن صفحات شما در نتایج جستجو را افزایش دهد.

اگر علاقمند به بهتر شدن سئو سایت خود دارد مقالات مرتبط زیر در Gizmax می تواند برای شما مفید باشد:

- بررسی بحران قطع اینترنت و افت سئو سایت‌های ایرانی

- تاثیر قطعی اینترنت بر سایت‌های ایرانی در گوگل

-آیا مشکل ایندکس شدن سایت های ایرانی در گوگل حل شده است؟

در کنار موارد گفته‌شده، نکته دیگری نیز وجود دارد. به دلیل حجم عظیم محتوایی که روزانه تولید می‌شود، گوگل محتاط‌تر شده و منابع کمتری را صرف پردازش صفحات جدید می‌کند. با ظهور هوش مصنوعی تولیدکننده محتوا، همپوشانی قابل توجهی در محتوا ایجاد شده است که باعث می‌شود گوگل در مورد اینکه چه چیزی را ایندکس کند، گزینشی‌تر عمل نماید. بروزرسانی‌های اخیر، از جمله بروزرسانی محتوای مفید (Helpful Content Update) و بروزرسانی هسته مارس ۲۰۲۴ (March 2024 Core Update)، نشان‌دهنده این تغییر رویکرد است.

شاید لازم باشد از خودتان این سوال را بپرسید که چرا گوگل حتما باید صفحات سایت شما را ایندکس کند؟

با توجه به حجم عظیم محتوای مشابه موجود، گوگل دلیل قانع‌کننده ای برای ایندکس کردن صفحه شما نیاز دارد. محتوا می بایست از ویژگی های زیر برخوردار باشد:

برای رفع وضعیت Crawled – currently not indexed، بهبود کیفیت محتوا، حل مشکلات فنی و بهینه‌سازی ساختار وب‌سایت ضروری است. با ما در ادامه همراه باشید:

- اطمینان حاصل کنید محتوای شما با کیفیت بوده و برای مخاطبانتان ارزش قائل هستید. از محتوای تکراری اجتناب نمایید.

- موضوعات را به طور کامل پوشش دهید تا اطلاعات عمیقی ارائه نمایید که نیازهای کاربر را برآورده سازد.

- محتوای خود را تا حد امکان جذاب و آموزنده کنید.

- مشکلات فنی را برطرف نمایید.

- اطمینان حاصل کنید فایل robots.txt مانع از خزیدن صفحات شما توسط گوگل نمی‌شود. از سرچ کنسول گوگل - برای تست فایل robots.txt استفاده نمایید.

- اگر تمایل دارید صفحات شما ایندکس شوند، مطمئن شوید که تگ noindex را نداشته باشند. برای بررسی از ابزار Inspect URL در GSC استفاده نمایید.

- هر گونه خطای سرور 5xx را که ممکن است مانع دسترسی گوگل به صفحات شما شود، برطرف کنید. به طور مرتب گزارشات سرور را برای مشکلات احتمالی بررسی نمایید.

- خزش را با ابزارهای بهینه‌سازی سئو مانند Yoast بهینه‌سازی کنید. افزونه های دیگری نیز برای سایت های وردپرسی وجود دارد که به شما در این زمینه کمک می کنند.

وب‌سایت خود را با ساختاری ایده آل و واضح سازماندهی کنید، از دسته‌ها و زیرمجموعه‌ها برای کمک به گوگل در درک روابط بین صفحات خود استفاده نمایید. لینک‌های داخلی برای اتصال محتوای مرتبط مناسب هستند و به گوگل در پیمایش مؤثرتر سایت کمک خواهند کرد. برای بهبود ساختار سایت و ارائه تجربه کاربری بهتر، پیمایش با breadcrumb را پیاده‌سازی نمایید.

همچنین یک نقشه سایت XML ایجاد کنید که لیستی از تمام صفحات مهم وب‌سایت شما را نشان دهد. این کار به گوگل کمک می‌کند تا صفحات شما را راحت‌تر کشف و خزش نماید.

درک کنید که ایندکس شدن، به ویژه برای وب‌سایت‌های جدید می‌تواند زمان‌بر باشد. سرچ کنسول گوگل را به طور منظم برای یافتن هر گونه مشکلی در ارتباط با خزش و ایندکس بررسی کنید. هر گونه هشدار یا خطا را به سرعت برطرف نمایید. تغییراتی را که در سایت خود ایجاد می‌کنید، پیگیری کرده و تأثیر آنها را بر ایندکس و نمایش در نتایج جستجو کنترل نمایید.

برای بهبود شانس ایندکس شدن در نتایج جستجو و ارتقای عملکرد سایت خود، این اقدامات سئوی تکمیلی را در نظر بگیرید:

مرتبا به وب‌سایت خود محتوا اضافه کنید تا ارزش آن حفظ گردد. محتوای تازه می‌تواند منجر به جذب بازدیدکنندگان شود و گوگل را تشویق کند تا سایت شما را بیشتر بخزد.

علاوه بر این، باید به صورت دوره‌ای محتوای قدیمی‌تر را بررسی و بروزرسانی کنید تا از صحت و مفید بودن آن اطمینان حاصل نمایید.

سعی کنید تعامل کاربران را در سایت خود بهبود بخشید. کاربران درگیر با سایت، می‌توانند به گوگل نشان دهند که محتوای شما با ارزش است. محتوای خود را در شبکه‌های اجتماعی برای افزایش بازدید و هدایت ترافیک به سایت، تبلیغ کنید.

- سیگنال‌های اجتماعی به طور غیرمستقیم می‌توانند بر سئوی شما تأثیر بگذارند.

- قسمت کامنت گذاری و درخواست مشارکت از بازدیکنندگان برای نوشتن کامنت می تواند مفید باشد

اطمینان حاصل کنید که سایت شما روی دستگاه‌های موبایل عملکرد خوبی دارد. فرآیندهای ایندکس گوگل، موبایل را اولویت قرار می دهند، بنابراین داشتن یک تجربه کاربری خوب در موبایل بسیار مهم است. سرعت بارگذاری سایت خود را بهینه نمایید. صفحات سریع‌تر، تجربه کاربری بهتری را ارائه می‌دهند و می‌توانند رتبه شما را بهبود بخشند.

برای وب‌سایت‌های معتبر در حوزه کاری خود، رپورتاژ آگهی بنویسید. بک‌لینک‌های با کیفیت از سایت‌های معتبر می‌تواند اعتبار سایت شما را افزایش دهد. محتوای ارزشمندی ایجاد کنید که دیگران بخواهند به آن لینک دهند. بک‌لینک‌های طبیعی می‌توانند اعتبار و ایندکس شدن مطالب سایت شما را بهبود بخشند.

این کار ممکن است برای شما هزینه داشته باشد.

اگر تمایل دارید بازدید سایت خود را بهبود بخشید، برطرف کردن وضعیت Crawled – currently not indexed در سرچ کنسول گوگل، ضروری است. درک دلایل پشت این وضعیت و اجرای راه‌حل‌های عملی می‌تواند شانس شما را برای ایندکس شدن افزایش دهد.

روی بهبود کیفیت محتوا، حل مشکلات فنی و بهینه‌سازی ساختار وب‌سایت خود تمرکز کنید. به طور مرتب محتوای خود را بروزرسانی نمایید، با کاربران تعامل داشته باشید و عملکرد سایت خود را کنترل کنید. این تلاش‌ها به شما کمک می‌کند تا یک حضور آنلاین قوی را حفظ کرده و اطمینان حاصل نمایید که محتوا برای مخاطبان موردنظرتان نمایش داده می شود.

نقشه سایت فقط گوگل را از وجود URLها آگاه می‌کند، اما ایندکس شدن آن‌ها وابسته به کیفیت محتوا، ساختار صفحه، دسترسی خزش، و سیگنال‌های سئوست. اگر محتوای صفحه تکراری، کم‌عمق یا دارای محدودیت‌های فنی باشد، حتی با معرفی در sitemap نیز ممکن است ایندکس نشود.

هیچ زمان مشخصی وجود ندارد. گوگل ممکن است تصمیم بگیرد صفحه را ایندکس نکند. اگر پس از چند هفته وضعیت تغییر نکرد، پیشنهاد می‌شود محتوای صفحه تقویت شود، لینک داخلی به آن افزایش یابد و مجدداً از ابزار Request Indexing استفاده شود.

بله. اگر تگ Canonical در بسیاری از صفحات سایت به یک آدرس اشتباه یا یکسان ارجاع داده شود، گوگل ممکن است فقط یک صفحه را ایندکس کند و باقی صفحات را تکراری فرض کند. این اشتباه در سایت‌های فروشگاهی با فیلتر زیاد، خیلی رایجه.

برای پیدا کردن صفحاتی که با مشکل Crawled – currently not indexed، مواجه شده‌اند، ابتدا سرچ کنسول وب‌سایت خود را باز کنید. از منوی سمت چپ بر indexing و سپس pages کلیک کنید. اکنون می‌توانید که انواع اخطارهایی که سایت شما با آن‌ها مواجه می‌شوند، بررسی کنید.

برای رفع این مشکل، روی بهبود کیفیت محتوا، حل مسائل فنی و بهینه‌سازی ساختار وب سایت خود تمرکز کنید. به طور منظم محتوای خود را به روز کنید، تعامل کاربران با محتوای خود را افزایش دهید و بر عملکرد سایت خود را نظارت کنید.

1- وبلاگ میهن وب هاست : وضعیت Crawled – currently not indexed در سرچ کنسول گوگل چه معنایی دارد؟

2- سایت وب رمز : بررسی کامل علت ایندکس نشدن سایت در سرچ کنسول و رفع خطاهای مهم

3- وبلاگ ترجمیک : اخطار Crawled – currently not indexed در سرچ‌کنسول

4- سایت گیزمکس : تیم فنی سئو گیزمکس

چنانچه سئوالی دارید می توانید در قسمت کامنت ها از تیم فنی سئو سایت گیزمکس بپرسید در کمترین زمان ممکن به سئوالات شما پاسخ داده می شود.