اگر به تازگی به عنوان یک متخصص سئو شروع به کار کرده باشید، Crawl stats یک ابزار قدرتمند برای شما است. بدون شک هدف از بررسی وضعیت خزش برای سئوکار‌ها بهینه‌سازی crawl budget (بودجه خزش) وب سایت هاست.
در این مقاله اهمیت این گزارش، نحوه دسترسی و استفاده از آن را مورد بررسی قرار می‌دهیم.
وب‌سایت شما چگونه Crawl می‌شود؟
گوگل همیشه و به سرعت یک صفحه تازه منتشر شده را ایندکس نمی‌کند و گاها ممکن است ایندکس شدن آن صفحه هفته‌ها طول بکشد. این مسئله از نظر سئو بسیار اهمیت دارد چرا که ممکن است شما فورا نیاز به ایندکس شدن صفحه‌های مهم وب‌سایت داشته باشید. در اینجا بودجه خزش یا Crawl budget اهمیت خود را نشان می‌دهد.
گزارش Crawl stats سرچ کنسول گوگل به شما نشان دهد که خزنده‌های گوگل، روزانه چند صفحه از سایت شما را بازدید می‌کند. با کمک این ابزار، می‌توانید ناهنجاری‌هایی را پیدا کنید که باعث ایجاد مشکلات سئو در وب‌سایت‌تان شده‌اند.
۵ نکته کلیدی برای بررسی Crawl stats یک سایت
برای دسترسی به گزارش Crawl stats، وارد حساب سرچ کنسول گوگل شوید و بهSettings > Crawl stats بروید. در اینجا تمام بخش‌هایی که می‌توانید در گزارش Crawl stats بررسی کنید، وجود دارد:
هاست
تصور کنید که یک فروشگاه اینترنتی به آدرس shop.website.com و یک وبلاگ به آدرس blog.website.com دارید. با استفاده از گزارشCrawl stats می‌توانید به راحتی وضعیت خزش یا Crawl stats مربوط به زیر دامنه‌های وب‌سایت خود را مشاهده کنید.
وضعیت HTTP
یکی دیگر از موارد استفاده از گزارش Crawl stats، بررسی کدهای وضعیتURL های کرال شده است. دلیلش این است که شما نمی‌خواهید ربات‌های گوگل، منابعی را برای کرال کردن صفحاتی صرف کنند که HTTP 200 درستی ندارند. این کار منجر به هدر رفتن بودجه خزش یا Crawl budget شما می‌شود.
برای مشاهده تفکیک دقیق URLهای کرال شده برای هر کد وضعیت، به Settings > Crawl Stats > Crawl requests breakdown بروید.
هدف
گزارش Crawl stats هدف کرال را به دو دسته تقسیم می‌کند:
- URL هایی که برای اهداف بازیابی، کرال شده‌اند. (بازخوانی صفحات ایندکس شده قبلی، به عنوان مثال: ربات گوگل برای دیسکاور کردن لینک‌ها و محتوای جدید، از صفحه اصلی شما بازدید می‌کند)
- URL هایی که برای اهداف دیسکاوری کرال شده‌اند. (URLهایی که برای اولین بار در زندگی‌شان کرال می‌شوند)
اصطلاح «Discovered but not indexed» به این معنی است که گوگل، یک صفحه مشخص را پیدا کرده اما از آن بازدید نکرده است. چیزی شبیه به این که یک رستوران جدید در شهرتان باز شده ولی شما هنوز به آن سر نزده‌اید.
در چنین مواردی چند راهکار وجود دارد که یکی از آنها منتظر ماندن است. به این امید که گوگل بالاخره لطفی نشان دهد و این صفحات را به تدریج ایندکس کند!
گزینه دیگر، بررسی داده‌ها و تشخیص مسئله است. بنابراین باید وارد سرچ کنسول گوگل شوید و به تنظیمات> Crawl Stats> Crawl Requests: HTML بروید.
در این بخش مشخص خواهد شد که گوگل به طور متوسط، روزانه چند صفحه از وب‌سایت شما را بازدید می‌کند.
مثلا تصویر بالا به ما نشان می‌دهد که گوگل روزانه فقط ۷۴۶۰ صفحه در این وب‌سایت را بازدید می‌کند. اما در اینجا نکته مهم‌تری وجود دارد.
با استفاده از گزارش Crawl stats، متوجه می‌شویم که فقط ۳۵ درصد از این ۷۴۶۰ URL با هدف دیسکاوری کرال شده‌اند.
۲۶۱۱ از میان بیش از یک میلیون صفحه!
۳۸۲ روز طول میکشد تا گوگل کل وب‌سایت را با همان سرعت، ایندکس کند. به دلیل تمرکز خیلی زیاد ما بر روی بهینه‌سازی Crawl budget، سایر بهینهسازیهای جستجو به تعویق افتاده‌اند.
نوع فایل
Crawl stats GSC می‌تواند برای وب‌سایت‌های جاوا اسکریپتی مفید باشد. شما می‌توانید به راحتی بررسی کنید که ربات گوگل به طور مکرر از فایل‌هایJS استفاده می‌کنند.
اگر سایت شما تصاویر زیادی دارد و جستجوی تصویر برای استراتژی سئوی شما بسیار مهم است، این گزارش به شما کمک زیادی خواهد کرد. از این طریق می‌توانید ببینید ربات گوگل چقدر می‌تواند تصاویر شما را کرال کند.
نوع ربات گوگل
سرانجام، گزارش Crawl stats بررسی دقیق نوع ربات گوگل که سایت‌تان را کرال کرده، به شما ارائه می‌دهد.
شایان ذکر است که گزارش Crawl stats اطلاعات بی‌نظیری دارد که نمی‌توانید آنها را در گزارش‌های سرور خود پیدا کنید. این اطلاعات شامل موارد زیر هستند:
- خطاهای DNS
- TimeOuts صفحه
- مشکلاتی در هاست، مانند مشکلات فچ کردن فایل robots.txt
استفاده از Crawl Stats در URL Inspection
یک متخصص سئو می‌گوید: «من به تازگی با یک وب‌سایت تجاری بزرگ کار کردم و پس از چند تحلیل اولیه، متوجه دو مسئله خیلی مهم شدم:
۱- بسیاری از صفحات محصول در گوگل ایندکس نشده بودند.
۲- هیچ لینک داخلی بین محصولات وجود نداشت.
در این حالت تنها راه گوگل برای دیسکاور کردن محتوای جدید، استفاده از نقشه سایت و صفحات دسته‌بندی شده است.
راه‌حل بعدی، دسترسی به گزارش‌های سرور و بررسی آنها است، که آیا گوگل صفحات دسته‌بندی شده را جستجو کرده است یا خیر؟ اما دسترسی به گزارش‌های سرور اغلب دشوار است، مخصوصا وقتی که با یک سازمان بزرگ کار می‌کنید.
اینجاست که گزارش Crawl Stats سرچ کنسول گوگل به کمک شما می‌آید. برای این کار می‌توانید از روش زیر استفاده کنید:
ابتدا یک URL را درURL Inspection Tool جستجو کنید. صفحه‌ای را از یکی از دسته‌بندی‌های اصلی سایت انتخاب کنید. در محله بعد به سراغ بخش Coverage > Crawl report بروید.
در مثال بالا، URL مورد نظر، سه ماه قبل برای آخرین بار کرال شده است.
در نظر داشته باشید که این صفحه، یکی از اصلی‌ترین صفحات وب‌سایت بوده که بیش از سه ماه کرال نشده است.
این متخصص در ادامه می‌گوید: «عمیقتر شدم و یکی دیگر از صفحات دسته‌بندی را بررسی کردم. مشخص شد که ربات گوگل تعدادی از صفحات دسته‌بندی اصلی سایت را بازدید نکرده است. به عبارتی این صفحات هنوز برای گوگل ناشناخته هستند.»
گزارش Crawl stats به شما این امکان را می‌دهد در عرض چند دقیقه، مواردی مانند نمونه‌ای که مثال زدیم را مشاهده کنید.
سخن پایانی
همان‌طور که در این مقاله بررسی کردیم، گزارش Crawl stats یک ابزار قدرتمند برای سئو است. این ابزار به شما کمک می‌کند تا مشکلات ایندکس نشدن صفحات را تشخیص داده و بودجه کرال خود را بهینه کنید تا گوگل بتواند به سرعت محتوای ارزشمند شما را پیدا کرده و آن را ایندکس کند. این موضوع برای سایت‌های بزرگ اهمیت بیشتری دارد.
منبع: SearchEngineJournal: 5 Top Crawl Stats Insights in Google Search Console
