چرا گوگل سایتم را ایندکس نمی‌کند؟

همه سایت‌ها در رقابت و تلاشی نفس‌گیر هستند تا در صفحه اول گوگل نمایش داده‌ شوند. اما گاهی گوگل سایت شما را نشان نمی‌دهد. وحشتناک است نه؟! این همه هزینه برای سئو و محتوا و تبلیغات کرده‌اید و حالا وقتی کلمات کلیدی مرتبط با کسب‌وکارتان را سرچ می‌کنید، می‌بینید سایت شما در نتایج گوگل نمایش داده نمی‌شود. راستی چرا گوگل سایت‌ ما را ایندکس نمی‌کند؟ در این مقاله از تریبون قراره به بررسی این موضوع و راه‌حل‌های آن بپردازیم.

برای بررسی دلیل ایندکس نشدن یک سایت در گوگل باید به بخش ارورهای ایندکس سرچ کنسول مراجعه کنیم. بخشی به نام coverage در پیشخوان سرچ کنسول وجود دارد. شما از طریق این قسمت می‌توانید ارورهای مختلف سایت خودتان را بررسی کنید. ارورهایی که در بخش coverage به شما نشان داده می‎شوند، همان ارورهایی هستند که به شکل کلی روی عملکرد سایت شما تاثیر می‌گذارند.

ایندکس نشدن سایت به دلیل خطاهای سایت

ایندکس نشدن یک سایت در گوگل می‌تواند به دلایل مختلفی از جمله خطاهای سایت اتفاق بیافتد. در اینجا چند نمونه از این خطاها را با هم بررسی می‎کنیم:

• خطاهای DNS

این خطا وقتی ایجاد می‌شود که سعی می‌کنیم به صفحه‌ی دسترسی پیدا کنیم اما ارتباط با سرور DNS برقرار نمی‌شود. این خطا می‌تواند به این دلیل باشد که سرورتان از کار افتاده است یا مشکلی در مسیریابی DNS به دامنه شما وجود دارد. این ارورها اهمیت خیلی زیادی دارند و باید در اولین فرصت آن‌ها را رفع کنید؛ چون وجود خطاهای DNS باعث می‌شود تا ربات‌های گوگل نتوانند به سایت شما دسترسی پیدا کنند.

• آموزش رفع خطاهای DNS

برای رفع کردن این خطا باید قبل از هر چیز وارد صفحه اصلی گوگل وبمستر شوید و از منوی crawl گزینه Fetch as Google را پیدا کرده و روی آن کلیک کنید. در این مرحله باید در کادر جستجو URL صفحه مورد نظرتان را وارد کرده و گزینه FETCH AND RENDER را بزنید. با کلیک روی این گزینه، گوگل نتایج بررسی را به شما نمایش می‌دهد. اگر مشکلی وجود داشته باشد، در مقابل آدرس صفحه‌ای که وارد کردید، یک تیک قرمز می‎خورد. دقت کنید اگر گوگل بدون هیچ مشکلی با صفحه اول سایت‌ شما ارتباط برقرار کرد، یعنی هیچ مشکلی در این وب‌سایت وجود ندارد.

خطاهای DNS معمولا ۲ نوع هستند:

• خطای Timeout: این اتفاق زمانی می‌افتد که سرور DNS قادر به پاسخگویی به درخواست Google در یک زمان خاص نیست.
• خطای Lookup: این اتفاق زمانی رخ می‌دهد که سرور DNS قادر به شناسایی نام میزبان نباشد. (به عنوان مثالwww.example.com )

• وجود خطاهای سرور

خطای سرور زمانی اتفاق می‌افتد که سرور برای پاسخگویی به یک درخواست، زمان خیلی زیادی صرف کند و مهلت درخواست به پایان برسد. این خطا ممکن است وقتی رخ دهد که ترافیک سایت شما، بیش از اندازه‌ای باشد که سرور بتواند آن را اداره کند. خطاهای سرور معمولا ۷ نوع هستند:

• Timeout: زمان انتظار برای یک درخواست به پایان می‌رسد.
• Truncated headers: گوگل توانسته به سرور شما متصل شود، اما اتصال را قبل از ارسال headerهای کامل، قطع کرده است.
• Connection reset: سرور شما درخواست گوگل را با موفقیت پردازش کرده، اما هیچ محتوایی را برنمی‌گرداند؛ زیرا ارتباط با سرور ریست شده است.
• Truncated Response: سرور شما قبل از اینکه گوگل بتواند پاسخ کاملی دریافت کند، قطع شده است.
• Connection Failed: گوگل قادر به اتصال به سرور شما نیست زیرا شبکه غیرقابل دسترسی شده یا از کار افتاده است.
• No Response: گوگل قبل از ارسال داده‌های مورد نیاز می‌تواند به سرور شما متصل شود.

درست مثل خطاهای DNS ، خطای سرور هم باید بسیار فوری رفع شوند. این خطا یک خطای اساسی است و به سایت شما آسیب می‌رساند. در صورت مشاهده خطاهای سرور در Search Console، برای رفع آن‌ها هر چه سریع‌تر اقدام کنید.

• راهکارهایی برای رفع خطای سرور

بارگذاری صفحات پویا را کاهش دهید. پارامترهای URL را کوتاه نگه داشته و از آن‌ها خیلی کم استفاده کنید. در صورت بروز مشکلات اتصال و مهلت زمانی یا پاسخگویی، با ارائه دهنده هاست خود مشورت کنید و توانایی سایت‌تان را برای مدیریت ترافیک افزایش دهید. مطمئن شوید که هاست شما درست کار می‌کند و پهنای باند آن تمام نشده است.

ابزاری به نام Fetch as Google  وجود دارد که با استفاده از آن می‌توانید مطمئن شوید که آیا ربات‌های خزنده‌ گوگل می‌توانند صفحات شما را پردازش کند یا خیر.

• رفع خطاهای موجود در فایل robots.txt

این خطا به این معنی است که Googlebot نمی‎تواند به فایل robots.txt شما که در [yourdomain.com] /robots.txt قرار دارد، دسترسی پیدا کند. طبق گفته گوگل: «خزنده‌های گوگل حداقل یکبار فایل robots.txt را بازبینی می‌کنند تا از چگونگی خزیده شدن و ایندکس کردن صفحات وب‌سایت‌ شما اطلاع پیدا کنند.»

شما در robots.txt می‌توانید رفتار خزنده‌های موتور جستجو مثل گوگل را درباره سایت‌تان تعیین کنید و به آن‌ها بفهمانید که کدام قسمت از صفحات وب‌سایت‌ را نباید جستجو و ایندکس کنند. برای این کار می‌توانید از متاتگ noindex استفاده کنید. اما اگر مشابه کد زیر، از این متاتگ به شکل اشتباه استفاده کنید، ممکن است گوگل نتواند سایت شما را ایندکس کند:

<“meta name=”robots” content=”noindex, nofollow>

 اگر فایل robots.txt ندارید، هنگام درخواست Googlebot، سرور شما ارور 404 را برمی‌گرداند. حتما مطمئن شوید که گوگل به فایل robots.txt دسترسی داشته باشد.

• نداشتن سایت‌مپ

حتما باید سایت‌ مپ داشته باشید و مطمئن شوید که سایت‌مپ را به درستی بارگذاری و معرفی کرده‌اید. نداشتن نقشه سایت، یک مانع جدی سر راه ایندکس شدن سایت شما در گوگل است.

همچنین بعد از آپلود سایت‌مپ، نیاز است درخواست خزیدن گوگل به منظور ایندکس شدن سایت را برای گوگل ارسال کنید تا گوگل بعد از بررسی درخواست، برای ایندکس کردن سایت اقدام کند.

ایندکس نشدن سایت به علت خطاهای URL

به‌طور معمول خطاهای URL یکی از انواع زیر هستند:

• وجود خطای 404

وقتی کاربر آدرس صفحه‌ای از سایت را بدهد که وجود خارجی ندارد، سرور صفحه‌ای با عنوان خطای 404 را به کاربر نشان می‌دهد و به او و ربات‌های موتورهای جستجو می‌گوید که چنین صفحه‌ای در این سایت وجود ندارد. بنابراین محتوای آن صفحه نمی‌تواند توسط موتورهای جستجو بررسی یا ایندکس شود. اگر صفحه‌های خیلی مهم سایت شما با ارور 404 مواجه است، باید هر چه زودتر این مشکل را رفع کنید.

• رفع خطای 404

بسیاری از خطاهای 404 نیاز به رفع کردن ندارند، زیرا به ایندکس شدن یا رتبه بندی سایت شما آسیب نمی‌رسانند. اگر صفحه پاک شده‌ای روی سایت باشد که جایگزین یا معادلی برای آن ندارید، استفاده از صفحه‌ای با خطای 404 کار درستی است.

اما اگر لینک‌هایی به صفحه 404 در GSC پیدا کردید:

• اگر محتوایتان را به صفحه دیگری منتقل کرده‌اید، حتما ریدایرکت انجام دهید.
• اگر صفحه شما تعداد زیادی ترافیک ورودی دارد، این ترافیک را به صفحه مناسب با سطح بالاتر هدایت کنید.
• بررسی کنید و ببینید لینک‌های اشتباه از چه صفحه و سایتی لینک شده‌اند. این لینک‌های اشتباه ممکن است داخل سایت خودتان باشند یا به دلیل یک غلط تایپی در URL، به یک سایت دیگر لینک شوند.
• از سایر خطاهای 404 چشم‌پوشی کنید جون مشکل چندانی برای سایت شما ایجاد نمی‌کنند.

• آشنایی با خطای hard 404

خطای hard 404 چیزی است که شما احتمالا بارها در زمان گشت‌وگذار در اینترنت با آن رو به رو شده‌اید. به زبان ساده، این خطا یک سیگنال برای کاربر است که صفحه را نمی‌توان یافت یا به آن دسترسی پیدا کرد. خطای hard 404 در بسیاری از مواقع می‌تواند به دلیل عدم وجود صفحه باشد. مثلا اگر شخصی آدرس URL را اشتباه وارد کند، ممکن است با خطای hard 404 مواجه شود.

• آشنایی با خطای soft 404

خطای Soft 404 وقتی اتفاق می‌افتد که سرور سایت شما برای لینکی که در سایت موجود نیست، یک صفحه واقعی را برمی‌گرداند. این خطا زمانی به وجود می‌آید که سرور، لینک‌های خراب یا لینک‌های ناموجود را لینک سالم حساب می‎کند و کاربرانی که درخواست مشاهده این لینک‌ها را داده‌اند به صفحه اصلی سایت یا یک صفحه ۴۰۴ سفارشی که از قبل طراحی و پیاده‌سازی شده هدایت می‌کند.

این خطا یک مشکل جدی برای سایت شما ایجاد می‌کند؛ زیرا موتورهای جستجو ممکن است بیشتر وقت خود را صرف crawling و ایندکس کردن URLهای اغلب تکراری در سایت شما کنند.

• آموزش رفع خطای soft 404

برای صفحات ناموجود:

• اگر صفحه از بین رفته است و هیچ بازدید یا پیوند قابل توجهی دریافت نمی‌کند، اجازه نمایش صفحات 404 یا 410 را بدهید. اطمینان حاصل کنید که پاسخ هدر سرور 404 یا 410 است، نه 200.
• تعداد خیلی زیادی از صفحات از دست رفته را به صفحه اصلی سایت، ریدایرکت نکنید. این صفحات باید به 404 یا صفحات مشابه مناسب هدایت شوند.
• برای صفحات موجود که قرار نیست soft 404 باشند:
• از وجود محتوای مناسب در صفحه اطمینان حاصل کنید، زیرا محتوای کم حجم ممکن است باعث ایجاد خطای 404 شود.
• مطمئن شوید که محتوای صفحه شما زمان اجرای کد پاسخ 200، صفحه 404 را نشان نمی‌دهد.

• خطای Access denied

گوگل همه محتواهای موجود در نت را به کمک لینک‌هایی که بین صفحات وجود دارد، شناسایی و بررسی می‌کند. اگر ربات گوگل بخواهد یک صفحه را بررسی کند، حتما باید به آن دسترسی داشته باشد. وجود خطای Access Denied به این معنی است که امکان دسترسی به لینک موردنظر برای ربات گوگل وجود ندارد. این عدم دسترسی به خاطر یکی از دلایل زیر اتفاق می‌افتد:

• ربات گوگل نمی‌تواند آن مطلب را ببیند، چون فقط کاربرانی که در سایت ثبت‌نام کرده‌اند و رمز عبور دارند، این اجازه را دارند تا به مطلب دسترسی داشته باشند.
• ممکن است فایل txt شما، دسترسی ربات گوگل به برخی از فایل‌ها یا کل سایت‌تان را مسدود کرده باشد.
• ممکن است سروری که سایت شما روی آن قرار دارد، یک سری موارد امنیتی برای کاربران خود در نظر گرفته باشد و در تنظیمات خود، به طور کلی دسترسی ربات گوگل مسدود شده باشد. در چنین شرایطی حتما باید از شرکتی که میزبان سایت شماست، راهنمایی بگیرید.

• رفع خطای Access denied

• امکان لاگین کردن را از صفحات که می‌خواهید گوگل در آن crawl کند بردارید.
• فایل robots.txt خود را بررسی کنید تا مطمئن شوید صفحات ذکر شده در آنجا به منظور جلوگیری از crawl و ایندکس شدن، مسدود نشده باشند.
• از Fetch به عنوان ابزار Google استفاده کنید تا ببینید سایت شما چگونه در Googlebot ظاهر می‌شود.
• وب سایت خود را با Screaming Frog اسکن کنید.

• خطای not followed

خطای not followed به این معنی است که گوگل نمی‌تواند آن URL خاص را دنبال کند. این خطاها غالبا از طرف گوگل رخ می‎دهد که با Flash ، JavaScript یا ریدایرکت‌ها روبرو است. گوگل موارد زیر را به عنوان ویژگی‌هایی شناسایی می کند که ممکن است باعث شود تا ربات‌های گوگل و سایر موتورهای جستجو در crawl کردن مشکل داشته باشند:

• JavaScript
• کوکی‌ها
• Session ID ها
• فریم‌ها
• DHTML
• Flash

• رفع خطای not followed

• از Fetch مانند گوگل استفاده کنید تا ببینید سایت شما دقیقا چطور برای گوگل نشان داده می‌شود.
• اگر به طور دائم از یک صفحه به صفحه دیگری ریدایرکت می‌شوید، مطمئن شوید که کد وضعیت HTTP مناسب (یعنی کد 301) بازگردانده می‌شود.
• URLهای ریدایرکت شده را در سایت‌مپ خود وارد نکنید.
• اطمینان حاصل کنید که سایت شما به ربات‌های جستجو اجازه می‌دهد بدون session ID یا استدلال‌هایی که مسیر آن‌ها را از طریق سایت دنبال می‌کنند، به جستجوی سایت شما بپردازند.
• URL های خود را تا حد امکان کوتاه کنید.
• مطمئن شوید ریدایرکت‌ها به صفحات درست انجام می‌شوند.

بررسی مشکلات خزش یا crawl errors در coverage

گاهی گوگل به این دلیل که نمی‌تواند صفحات وب شما را دریافت و بررسی کند، امکان ایندکس ندارد. در مواردی دریافت انجام می‌شود اما بررسی همچنان غیرقابل اجرا است. برای یافتن  Crawl Errors در کنسول جستجوی گوگل می‌توانید مراحل زیر را طی کنید:

• از قسمت Index روی Coverage کلیک کنید.
• روی گزینه Error کلیک کنید تا نمودار خطاها به شما نمایش داده شود. سایر گزینه‌ها مثل Valid , Excluded را خاموش کنید.
• در قسمت Details روی هر کدام از خطاها کلیک کنید تا لیست صفحاتی که این خطا در آن‌ها وجود دارد را ببینید.

ایندکس نشدن سایت به دلیل وجود مطالب تکراری در سایت

ایندکس نشدن به دلیل محتوای تکراری، زمانی اتفاق می‌افتد که صفحات وب با محتوای مشابه ولی با URL های مختلف قابل دسترسی باشد. گوگل تمایل ندارد محتوای تکراری را ایندکس کند، زیرا فضای غیرضروری را اشغال می‌کند و این چیزی شبیه داشتن دو نسخه مشابه از یک کتاب در کتابخانه شماست!

گوگل معمولا فقط نسخه‌ای را که شما به عنوان نسخه استاندارد ست کرده‌اید، فهرست می‌کند. اگر نسخه استانداردی ست نشده باشد، گوگل سعی می‎کند بهترین نسخه صفحه را برای ایندکس شناسایی کند.

ایندکس نشدن سایت به دلیل فعال کردن تنظیمات حریم خصوصی

اگر تنظیمات حریم خصوصی سایت را به صورت تصادفی فعال کرده باشید، ممکن است سایت شما در گوگل ایندکس نشود. برای اینکه مطمئن شوید این تنظیمات را فعال نکرده‌اید، باید مطابق دستور زیر پیش بروید:

• به پنل مدیریت سایت خود وارد شوید.
• از منوی تنظیمات، به بخش تنظیمات خواندن وارد شوید.
• در قسمت نمایش به موتورهای جستجو، تیک تنظیمات حریم خصوصی را بردارید.

بررسی مسدود نبودن htaccess

فایل htaccess یک فایل پیکربندی سرور است. این فایل می‌تواند برای ایجاد ریدایرکت‌ها، بازنویسی URLهای کثیف به نسخه‌های تمیزتر و حتی مسدود کردن صفحات برای اینکه ربات‌های گوگل نتوانند در آن‌ها crawl کنند، استفاده شود. اگر سایت یا صفحه شما در robots.txt یا از طریق دستورالعمل‌های روی صفحه مانند تگ noindex مسدود نشده اما همچنان امکان crawl کردن برای آن وجود ندارد، ممکن است از طریق htaccess مسدود شده باشد.

بررسی ایندکس نشدن سایت به دلیل مشکلات Javascript و Ajax

متاسفانه گوگل صفحاتی که با JavaScript و AJAX نوشته شده‌اند را به آسانی HTML ایندکس نمی‌کند. اگر پیکربندی صفحات خود را به شکل اشتباه با زبان‌های AJAX و JavaScript اجرا کرده‌اید، احتمالا گوگل این صفحات را ایندکس نخواهد کرد.

بررسی داون شدن سرور

وقتی ربات‌های گوگل نتوانند محتوایی را ببینند، امکان ایندکس کردن آن را هم ندارند. اگر هاست شما به صورت مداوم قطع می‌شود، ممکن است ربات‌های گوگل نتوانند در سایت شما crawl کنند. در این مواقع توصیه می‌شود هاست‌تان را عوض کرده و از هاست باکیفیت‌تری استفاده کنید.

آپدیت: ممکن است در ظاهر هم هاست شما مشکلی نداشته باشد، اما طبق تجربه‌ای که بر روی چندین سایت بزرگ و کوچک بدست آوردیم، با تغییر هاست، صفحات سایت ایندکس شدند.

Deindex شدن سایت به صورت دستی توسط گوگل

در مواردی ممکن است گوگل شما را به صورت دستی از ایندکس خارج کرده باشد. این اتفاق می‌تواند برای سایت شما واقعا بد باشد. اگر از راه‌های غیرمجاز برای بهبود رتبه گوگل استفاده کرده‌اید، این امکان وجود دارد که گوگل شما را پنالتی کرده باشد.

برای برطرف کردن این مشکل باید از یک متخصص کمک بگیرید. معمولا توصیه می‎شود که یک دوره نسبتا طولانی فعالیت مفید و موثر داشته باشید تا گوگل، شما را از پنالتی دستی خارج کند.

سخن پایانی

ایندکس‌نشدن سایت شبیه کابوسی است که هیچ مدیر سایت یا متخصص سئویی دوست ندارد حتی یکبار تجربه‌اش کند. اما هر چالشی راه‌حل‌های خودش را هم دارد. در این مقاله، انواع مشکلات مرتبط با ایندکس‌نشدن سایت را دسته‌بندی کردیم و روش رفع هر مشکل را هم آموزش دادیم. خوب است که همیشه دلایلی را که مانع از ایندکس سایت می‌شوند، به خاطر داشته باشید و آن‌ها را در سایت خود بررسی کنید تا بتوانید زودتر از ایندکس‌نشدن سایت جلوگیری کنید.