۵ نکته کلیدی Crawl Stats در سرچ کنسول گوگل

0

اگر به تازگی به عنوان یک متخصص سئو شروع به کار کرده باشید، Crawl stats یک ابزار قدرتمند برای شما است.  بدون شک هدف از بررسی وضعیت خزش برای سئوکار‌ها بهینه‌سازی  crawl budget (بودجه خزش) وب سایت هاست.

در این مقاله اهمیت این گزارش، نحوه دسترسی و استفاده از آن را مورد بررسی قرار می‌دهیم.

وب‌سایت شما چگونه Crawl می‌شود؟

گوگل همیشه و به سرعت یک صفحه تازه منتشر شده را ایندکس نمی‌کند و گاها ممکن است ایندکس شدن آن صفحه هفته‌ها طول بکشد. این مسئله از نظر سئو بسیار اهمیت دارد چرا که ممکن است شما فورا نیاز به ایندکس شدن صفحه‌های مهم وب‌سایت داشته باشید. در اینجا بودجه خزش یا Crawl budget اهمیت خود را نشان می‌دهد.

گزارش Crawl stats سرچ کنسول گوگل به شما نشان دهد که خزنده‌های گوگل، روزانه چند صفحه از سایت شما را بازدید می‌کند. با کمک این ابزار، می‌توانید ناهنجاری‌هایی را پیدا کنید که باعث ایجاد مشکلات سئو در وب‌سایت‌تان شده‌اند.

۵ نکته کلیدی برای بررسی Crawl stats یک سایت

برای دسترسی به گزارش Crawl stats، وارد حساب سرچ کنسول گوگل شوید و بهSettings > Crawl stats  بروید. در اینجا تمام بخش‌هایی که می‎توانید در گزارش Crawl stats بررسی کنید، وجود دارد:

هاست

تصور کنید که یک فروشگاه اینترنتی به آدرس shop.website.com و یک وبلاگ به آدرس blog.website.com دارید. با استفاده از گزارشCrawl stats  می‎توانید به راحتی وضعیت خزش یا Crawl stats مربوط به زیر دامنه‌های وب‌سایت خود را مشاهده کنید.

وضعیت HTTP

یکی دیگر از موارد استفاده از گزارش Crawl stats، بررسی کدهای وضعیتURL های کرال شده است. دلیلش این است که شما نمی‌خواهید ربات های گوگل، منابعی را برای کرال کردن صفحاتی صرف کنند که HTTP 200 درستی ندارند. این کار منجر به هدر رفتن بودجه خزش یا Crawl budget شما می‌شود.

برای مشاهده تفکیک دقیق URLهای کرال شده برای هر کد وضعیت، به Settings > Crawl Stats > Crawl requests breakdown بروید.

بررسی وضعیت HTTP در crawl stats
در مثال بالا، ۱۶ درصد از همه درخواست‌ها برای صفحات ریدایرکت شده انجام شده است.

هدف

گزارش Crawl stats هدف کرال را به دو دسته تقسیم می‌کند:

  • URL هایی که برای اهداف بازیابی، کرال شده‌اند. (بازخوانی صفحات ایندکس شده قبلی، به عنوان مثال: ربات گوگل برای دیسکاور کردن لینک‌ها و محتوای جدید، از صفحه اصلی شما بازدید می‎کند)
  • URL هایی که برای اهداف دیسکاوری کرال شده‌اند. (URLهایی که برای اولین بار در زندگی‌شان کرال می‌شوند)

اصطلاح «Discovered but not indexed» به این معنی است که گوگل، یک صفحه مشخص را پیدا کرده اما از آن بازدید نکرده است. چیزی شبیه  به این که یک رستوران جدید در شهرتان باز شده ولی شما هنوز به آن سر نزده‌اید.

در چنین مواردی چند راهکار وجود دارد که یکی از آن‌ها منتظر ماندن است. به این امید که گوگل بالاخره لطفی نشان دهد و این صفحات را به تدریج ایندکس کند!

گزینه دیگر، بررسی داده‌ها و تشخیص مسئله است. بنابراین باید وارد  سرچ کنسول گوگل شوید و به تنظیمات> Crawl Stats> Crawl Requests: HTML  بروید.

در این بخش مشخص خواهد شد که گوگل به طور متوسط​​، روزانه چند صفحه‌ از وب‌سایت شما را بازدید می‎کند.

گزارش Crawl stats

مثلا تصویر بالا به ما نشان می‌دهد که گوگل روزانه فقط ۷۴۶۰ صفحه در این وب‌سایت را بازدید می‌کند. اما در اینجا نکته مهم‌تری وجود دارد.

با استفاده از گزارش Crawl stats، متوجه می‌شویم که فقط ۳۵ درصد از این ۷۴۶۰ URL با هدف دیسکاوری کرال شده‌اند.

crawl stats by purpose گزارش در سرچ کنسول
این فقط ۲۶۱۱ صفحه جدید است که هر روز توسط گوگل، دیسکاور می‌شود.

۲۶۱۱ از میان بیش از یک میلیون صفحه!

۳۸۲ روز طول می‎کشد تا گوگل کل وب‎سایت را با همان سرعت، ایندکس کند. به دلیل تمرکز خیلی زیاد ما بر روی بهینه‎سازی Crawl budget،  سایر بهینه‎سازی‌های جستجو به تعویق افتاده‌اند.

نوع فایل

Crawl stats GSC می‌تواند برای وب‌سایت‌های جاوا اسکریپتی مفید باشد. شما می‎توانید به راحتی بررسی کنید که ربات گوگل به طور مکرر از فایل‌هایJS  استفاده می‌کنند.

اگر سایت شما تصاویر زیادی دارد و جستجوی تصویر برای استراتژی سئوی شما بسیار مهم است، این گزارش به شما کمک زیادی خواهد کرد. از این طریق می‌توانید ببینید ربات گوگل چقدر می‎تواند تصاویر شما را کرال کند.


در بلاگ تریبون بخوانید: چرا گوگل سایتم را ایندکس نمی‌کند؟


نوع ربات گوگل

سرانجام، گزارش Crawl stats بررسی دقیق نوع ربات گوگل که سایت‌تان را کرال کرده، به‌ شما ارائه می‌دهد.

 

شایان ذکر است که گزارش Crawl stats اطلاعات بی‌نظیری دارد که نمی‌توانید آن‌ها را در گزارش‌های سرور خود پیدا کنید. این اطلاعات شامل موارد زیر هستند:

  • خطاهای DNS
  • TimeOuts صفحه
  • مشکلاتی در هاست، مانند مشکلات فچ کردن فایل txt

استفاده از Crawl Stats در URL Inspection

یک متخصص سئو می‌گوید: «من به تازگی با یک وب‎سایت تجاری بزرگ کار کردم و پس از چند تحلیل اولیه، متوجه دو مسئله خیلی مهم شدم:

۱- بسیاری از صفحات محصول در گوگل ایندکس نشده‌  بودند.

۲- هیچ لینک داخلی بین محصولات وجود نداشت.

در این حالت تنها راه گوگل برای دیسکاور کردن محتوای جدید، استفاده از نقشه‎ سایت و صفحات دسته‌بندی شده است.

راه‌حل بعدی، دسترسی به گزارش‌های سرور و بررسی آنها است، که آیا گوگل صفحات دسته‎بندی شده را جستجو کرده است یا خیر؟ اما دسترسی به گزارش‎های سرور اغلب دشوار است، مخصوصا وقتی که با یک سازمان بزرگ کار می‌کنید.

اینجاست که گزارش Crawl Stats سرچ کنسول گوگل به کمک شما می‌آید. برای این کار می‌توانید از روش زیر استفاده کنید:

ابتدا یک URL را درURL Inspection Tool  جستجو کنید. صفحه‌ای را از یکی از دسته‌بندی‌های اصلی سایت انتخاب کنید. در محله بعد به سراغ بخش Coverage > Crawl report بروید.

استفاده از Crawl Stats در URL Inspection

در مثال بالا، URL مورد نظر، سه ماه قبل برای آخرین بار کرال شده است.

در نظر داشته باشید که این صفحه، یکی از اصلی‌ترین صفحات وب‌سایت بوده که بیش از سه ماه کرال نشده است.

این متخصص در ادامه می‌گوید: «عمیق‎تر شدم و  یکی دیگر از صفحات دسته‌بندی را بررسی کردم. مشخص شد که ربات گوگل تعدادی از صفحات دسته‌بندی اصلی سایت را بازدید نکرده است. به عبارتی  این صفحات هنوز برای گوگل ناشناخته هستند.»

گزارش Crawl stats به شما این امکان را می‎‎دهد در عرض چند دقیقه، مواردی مانند نمونه‌ای که مثال زدیم را مشاهده کنید.

نتیجه‌گیری

همان‌طور که در این مقاله بررسی کردیم، گزارش Crawl stats یک ابزار قدرتمند برای سئو است. این ابزار به شما کمک می‎کند تا مشکلات ایندکس نشدن صفحات را تشخیص داده و بودجه کرال خود را بهینه کنید تا گوگل بتواند به سرعت محتوای ارزشمند شما را پیدا کرده و آن را ایندکس کند. این موضوع برای سایت‌های بزرگ اهمیت بیشتری دارد.

منبع:

SearchEngineJournal: 5 Top Crawl Stats Insights in Google Search Console

دیدگاه خود را ثبت کنید

آدرس ایمیل شما منتشر نخواهد شد.