صفحات یتیم چیست و چگونه آن‌ها را بیابیم؟

اگر تازه سئو را شروع کردید یا تجربه کار در این حوزه را دارید حتما اهمیت لینک‌ سازی  را بارها شنیده‌اید؟ شما با قرار دادن آدرس لینک‌های دیگر صفحات وبسایت‌تان در داخل یک صفحه مجزا از سایت‌تان، می‌توانید فرآیند لینک‌سازی را در وبسایت‌تان پیاده سازی کنید.

اما در این وسط ممکن است صفحاتی وجود داشته باشند که هیچ لینکی به آنها داده نشده باشد. به صفحه‌ای که هیچ پیوندی به آن وجود نداشته باشد، صفحه یتیم می‌گویند. صفحات یتیم مثل جزیره‌های سرگردانی در فضای اینترنت هستند که ربات‌های گوگل و کاربران نمی‌توانند به راحتی به آن‌ها دسترسی پیدا کنند. در این مقاله چگونگی پیدا کردن این صفحات را بررسی کرده و خواهیم دید که چرا برای سئوی سایت مهم است.

چگونه صفحات یتیم را در ‌وب‌سایت خود شناسایی کنیم؟

پیدا کردن صفحات وب بدون پیوند کار دشواری است، اما غیرممکن نیست. اگر صفحاتی در ‌وب‌سایت شما وجود دارد که کاربران و موتورهای جستجو نمی‌توانند به آن دسترسی پیدا کنند، بدون شک باید این مشکل را برطرف کنید. این اتفاق می‌تواند سئوی سایت شما را به شدت تحت‌تاثیر قرار بدهد.

صفحه یتیم چیست؟

همان‌طور که در ابتدای مقاله گفتیم، صفحه‌ای که هیچ پیوندی به آن وجود نداشته باشد، صفحه یتیم نامیده می‌شود. موتورهای جستجو مانند ‌گوگل‌ معمولا صفحات جدید را به یکی از دو روش پیدا می‌کنند:

• ربات خزنده گوگل، لینکی را از صفحه دیگری دنبال می‌کند و به صفحه جدید می‌رسد.
• ربات خزنده، URL یا همان آدرس اینترنتی ذکر شده در نقشه سایت XML شما را پیدا می‌کند.

بنابراین اگر می‌خواهید ‌گوگل صفحه شما را کرال و ایندکس کند، اول از همه باید کاری کنید که بتواند آن صفحه را پیدا کند.

چرا صفحات یتیم برای سئو مشکل ایجاد می‌کنند؟

موتورهای جستجو نمی‌توانند یک صفحه یتیم را از طریق لینک‌ها پیدا کنند، بنابراین این صفحات معمولا گم شده و هرگز در نتایج جستجو نشان داده نمی‌شوند. حتی اگر صفحه‌های یتیم در نقشه سایت XML شما ذکر شده باشند، باز هم برای سئوی سایت مشکل‌ساز هستند.

آیا صفحات یتیم به سایت ما آسیب می‌زنند؟

صفحه‌های یتیم هم برای ربات‌های خزنده گوگل و هم برای کاربران، بد و کلافه‌کننده هستند. کاربران نمی‌توانند از طریق ساختار ارگانیک سایت شما به آن صفحات برسند، بنابراین اگر اطلاعات مهم و مفیدی در این صفحات وجود داشته باشد، هدر می‌رود و خوانده نمی‌شود.

بدون شک این اتفاق یک تجربه کاربری بسیار بد برای کاربران سایت شما ایجاد می‎کند.

بدون لینک‌ داخلی، هیچ مرجعی به صفحات سایت شما منتقل نمی‌شود و موتورهای جستجو، زمینه‌های معنایی یا ساختاری مشخصی برای ارزیابی این صفحات ندارند.

وقتی هیچ راهی وجود نداشته باشد که ربات‌های گوگل بفهمند صفحه در کجای سایت شما قرار گرفته، تعیین اینکه کدام کلمه کلیدی مربوط به صفحه است، بسیار دشوار خواهد بود.

صفحات یتیم و صفحات بن‌بست

صفحات یتیم و صفحات بن‌بست دو اصطلاح موجود در سئو هستند که گاهی می‌توانند شما را گیج کنند. پیش‌تر گفتیم که یک صفحه یتیم، صفحه‌ای است که هیچ صفحه دیگری در همان ‌وب‌سایت به آن لینک نشده باشد.

اما صفحه بن‌بست چیست؟

صفحه بن‌بست، یک صفحه وب است که به هیچکدام از صفحات داخلی سایت یا وب‌سایت‎های خارجی لینک ندارد، در چنین شرایطی می‌گوییم که «بن‌بست» ایجاد شده است.

به نظر شما وقتی کاربر وارد چنین صفحه‌ای می‌شود، چه‌کاری انجام می‌دهد؟ کاملا مشخص است! او این صفحه را ترک می‌کند. وقتی ربات‌های خزنده موتورهای جستجو هم وارد این صفحه می‌شوند، دیگر جایی برای رفتن ندارند و در همان صفحه متوقف می‌شوند.

شما می‌توانید با اضافه‎ کردن لینک‌هایی به محتوای صفحه خود، مشکل بن‌بست را به راحتی رفع کنید.

نحوه شناسایی صفحات یتیم

حالا که تا اینجای مقاله را با هم بررسی کردیم، بیایید ببینیم چطور می‎‌توانیم صفحات یتیم سایت را پیدا کنیم.

صفحات قابل خزیدن را شناسایی کنید

شما به لیست URLهایی نیاز دارید که با خزیدن در لینک‌های سایت‌تان می‌توانید به آن‌ها دسترسی داشته باشند. ScreamingFrog می‌تواند به شما برای این کار کمک کند.

از هر خزنده‌ای که استفاده می‌کنید، باید مطمئن شوید که این خزنده، فقط برای کرال کردن صفحات قابل ایندکس شدن توسط موتورهای جستجو تنظیم شده است.

در واقع صفحات Noindexed و صفحاتی که توسط robots.txt از دید موتورهای جستجو پنهان شده‌اند نباید کرال شوند.

خزیدن را از صفحه اصلی سایت شروع کنید.

مطمئن شوید که از URL متعارف مثل https یا http مناسب و www یا non-www استفاده می‌کنید. هنگامی که سایت خود را کرال کردید، URLها را در یک شیت، مانند شیت زیر ذخیره کنید:

۲ دلیل اصلی ایجاد صفحات یتیم را حل کنید

دو دلیل عمده وجود دارد که منجر به ایجاد صفحات یتیم می‌شوند. باید بلافاصله این دلایل را برطرف کنید. هر دوی این دلایل، اساسا نسخه‏ های تکراری صفحه هستند که باید به شکل خودکار و به‎طور مداوم فقط به یک URL ریدایرکت شوند. اگر این کار انجام نشود، احتمالا برخی از نسخه ‎های صفحه به آن لینک داده نشده و در نتیجه یتیم می‌مانند. در این حالت، مسئله اصلی نه یتیم بودن این صفحات، که کپی بودن آن‌ها است.

https / http نامتعارف یا www / non-www

هر صفحه عمومی در سایت شما باید به شکل مداوم از http یا https (ترجیحا https) و از www یا non-www  استفاده کند.

برای بررسی اینکه آیا در این زمینه، موردی در سایت شما وجود دارد یا خیر، حتما آدرس صفحه اصلی سایت خود را با تغییرات زیر در مرورگر خود تایپ کنید:

• https://www.example.com
• http://www.example.com
• https://example.com
• http://example.com

هر چهار آدرس باید به طور خودکار به همان URL اصلی ریدایرکت شوند. اگر یکی از این آدرس‌ها به درستی ریدایرکت نشود، ممکن است نشانه وجود مشکلاتی در سایت باشد.

شما باید چند صفحه دیگر و فایل htaccess سایت خود را بررسی کنید تا مطمئن شوید که مسیرهای ریدایرکت برای این موارد به درستی تنظیم شده‌اند.

Trailing Slashes

نکته دیگری که باید به آن دقت کنید، استفاده از « / » است. به عنوان مثال، این دو URL ممکن است محتوای یکسانی تولید کنند، اما URL هایشان یکسان نیستند :

• https://example.com/page1/
• https://example.com/page1

چند صفحه از سایت خود را با استفاده از اسلش و بدون آن بررسی کنید تا مطمئن شوید که به طور خودکار به همان URL مورد نظر ریدایرکت می‌شوند.

لیستی ازURL ها را از ‌گوگل آنالتیکس دریافت کنید

بر اساس تعریف ربات‌های خزنده، پیدا کردن صفحات یتیم کار خیلی سختی است. بنابراین استفاده از هر ابزار سئو برای یافتن یکی از آن‌ها، می‌تواند برایتان مشکل‌ساز باشد.

یکی از بهترین جاهایی که می‌توانید صفحات یتیم سایت‌تان را پیدا کنید، داده‌های ‌گوگل آنالتیکس است. اگر صفحه‌ای در سایت شما تا به حال بازدید داشته است، یعنی سابقه‌ای از آن در جایی از ‌گوگل ‌آنالتیکس وجود دارد.

برای پیدا کردن لیست کاملی ازURL ها، از نوار کناری سمت چپ گوگل آنالتیکس به  Behavior > Site Content > All Pages بروید.

از آنجا که پیدا کردن صفحات یتیم دشوار است، تعداد دفعات بازدید از آن‌ها بسیار کم خواهد بود. روی گزینه «Pageviews» کلیک کنید تا فلش کوچک کنار آن به سمت بالا باشد، در این حالت به راحتی می‌توانید ببینید که کدام URLها بازدید بیشتر و کدام یک بازدید کمتری داشته‌اند.

در واقع با این کار، صفحاتی که به احتمال زیاد یتیم هستند را به بالا منتقل می‌کنید:

برای اینکه مطمئن شوید فهرست URLهای شما کامل هستند، به date range در قسمت بالا و سمت راست بروید. تاریخ شروع آن را روی زمان خیلی قدیم تنظیم کنید (مثلا در تصویر زیر، تاریخ شروع روی ۱۹۹۰ قرار دارد) و دکمه Apply را بزنید:

حالا می‌توانیم لیست کاملی از تمام URLهای سایت خود را ببینیم.

در پایین سمت راست، روی منوی کشویی Show rows کلیک کنید و بیشترین تعداد ردیف‌ها را انتخاب کنید. گوگل ‌آنالتیکس می‌تواند همزمان حداکثر ۵۰۰۰ URL را لیست کند:

برای فچ کردن همه داده‌ها توسط ‌آنالتیکس، احتمالا کمی زمان لازم دارید. صبور باشید و با آرامش این کار را انجام دهید.

پس از لود کردنURL ها، به سمت راست و بالای سایت بروید، گزینه export را انتخاب کرده و خروجی URL‌های خود را در یک گوگل شیت، فایل اکسل یا CSV دریافت کنید.

حالا شما به لیست کاملی از URLهای سایت‌تان دسترسی دارید.

برای اینکه بتوانیم از این داده‌ها استفاده کنیم، باید این‌ها را به قالب URL وارد کنیم. برای انجام این کار، یک ستون جدید بسازید و URL صفحه اصلی را جای‌گذاری کنید:

و از فرمول () concat استفاده کنید تا این دو ستون را با هم ترکیب کرده و یک URL جدید در ستون دیگر بسازید:

URLهای یتیم را شناسایی کنید

برای شناساییURL های یتیم، باید لیستURL های Crawlable و لیستURL های ‌آنالتیکس پیدا شده را در شیت‌مان مقایسه کنیم.

در مثال فرضی بالا، واضح است که https://example.com/11 یک صفحه یتیم است، اما شما معمولاURL های خیلی بیشتری برای بررسی خواهید داشت و حتما باید راهی پیدا کنید تا شناساییURL های یتیم خود را به صورت خودکار انجام دهید.

برای انجام این کار، به فرمولی نیاز داریم تا بررسی کند که آیا هر URL موجود در لیست ‌آنالتیکس، در لیستURL های Crawlable ما هم موجودند یا خیر؟

ما در سلول E2 از فرمول «match» استفاده کرده‌ایم که به شکل زیر است:

=match(D2,$A$2:$A$11,0)

این فرمول بررسی می‌کند که URL سلول D2 در محدوده $A$2:$A$11 قرار دارد.

مقدار 0 به ‌گوگل شیت می‌گوید که ستون‌ها لزوما مرتب نشده‌اند.

اگر مطابقت وجود داشته باشد، فرمول، موقعیت خود را در محدوده برمی‎گرداند. در این حالت، اولین موقعیت در محدوده است. اما در صورتی که مطابقتی وجود نداشته باشد چه اتفاقی می‌افتد؟

همان‌طور که مشاهده می‌کنید، فرمول، خطای «#N/A» را برای https://example.com/11 برمی‌گرداند، زیرا در لیستURL های Crawlable ما پیدا نمی‌شود و در نتیجه، این URL متعلق به یک صفحه یتیم است. برای بدست آوردن لیستی از صفحات یتیم، تنها کاری که باید انجام دهیم این است که ستون Match خود را مرتب کنیم تا همه نتایج «#N/A» در یک مکان جمع شوند.

سپس می‌توانیم لیستURL های یتیم خود را کپی و در صفحه جدیدی جای‌گذاری کرده تا نحوه رفع آن‌ها را بررسی کنیم.

مکان‌های دیگر برای جستجوی URL‌های یتیم

می‎توانید این فرآیند را برای شناساییURL های یتیم با استفاده از منابع داده‌ای غیر از ‌گوگل ‌آنالتیکس نیز تکرار کنید. در هر یک از ابزارهای زیر، لیستی از صفحات Crawlable سایت شما وجود دارد:

• SEMrush
• Ahrefs
• Moz Link Explorer
• Raven Tools

SEMrush و Ahrefs، ابزارها و روش‌های خاصی دارند که به شما کمک می‌کنند تا صفحات یتیم سایت خود را پیدا کنید.

این امکان وجود دارد که در برخی موارد، این ابزارها صفحاتی را پیدا کنند که به طور مستقیم قابل خزیدن نیستند؛ زیرا با استفاده از روش‎های دیگر پیدا شده‌اند.‌ معمولا در بازه‌ای که صفحه قابل کرال کردن بود با تیم توسعه‌دهنده خود تماس بگیرید و ببینید آیا آن‌ها می‌توانند لیست کامل URLهای موجود در سایت شما را مستقیما از سرور دریافت کنند یا خیر. با این روش کامل‌ترین لیست موجود را پیدا خواهید کرد.

برای یافتن این داده‎ها می‌توانید از طریق فایل‌های لاگ (Log files) خود هم وارد شوید.

Log files حاوی موارد زیر هستند:

• چه کسانی از ‌وب‌سایت شما بازدید کرده‌اند؟
• بازدیدکننده‌ها از کجا آمده‎اند؟
• بازدیدکننده‌ها از چه صفحاتی بازدید کرده‌اند؟

می‌توانید برای بار دوم سایت خود را کرال کنید و با نادیده گرفتن دستورالعمل‎‌هایی مثل «nofollow» و «noindex»، نتیجه را با کرال اصلی سایت مقایسه کنید.

ممکن است صفحاتی موجود باشند که فقط خزنده‎هایی که این دستورالعمل‌ها را نادیده می‌گیرند بتوانند به آن‌ها دسترسی داشته باشند. این روش می‌تواند کمک کند تا صفحات یتیم بیشتری پیدا کنید.

سرانجام، می‌توانید لیستی ازURL ها را از گزارش سرچ آنالتیکس موجود در سرچ کنسول گوگل دریافت کنید.

یافتن و اصلاح صفحات یتیم

اگر صفحات یتیم در نقشه سایت شما نمایش داده نشوند، نمی‌توانند توسط موتورهای جستجو هم ایندکس شوند. وقتی این مراحل طی شد و صفحات یتیم را پیدا کردید، سوالات زیر را از خودتان بپرسید:

• آیا این صفحه مهم است؟ اگر مهم است، آن را در جای مناسبی ادغام کرده و اگر نیست، حذفش کنید.
• آیا این صفحه با وجود یتیم بودن، روی کلمات کلیدی رنک دارد؟ اگر دارد، ببینید کجا می‌توانید آن را ادغام کنید و اگر ندارد، حذفش کنید.
• صفحه شما بر اساس طبقه‌بندی سایت‌تان باید در کجا قرار بگیرد؟
• آیا این صفحه تکراری یا نزدیک به تکراری است؟ محتوای آن صفحه را در صفحه مشابهی که یتیم نیست قرار دهید.
• آیا این صفحه بهینه شده است؟ آیا می‌توان بهینه‌سازی آن را بیشتر یا لینک‌دهی‌اش را بهتر کرد؟
• آیا از منابع خارجی به صفحه لینک داده شده است؟

چگونه از ScreamingFrog برای یافتن صفحات یتیم استفاده کنیم؟

۱-  «Crawl Linked XML Sitemaps» را در بخش «Configuration> Spider> Crawl» انتخاب کنید.

برای خزیدنURL ها در XML سایت مپ، می‌توانید صفحات را از طریق robots.txt به صورت خودکار دیسکاور کرده یا مقصد نقشه سایت XML را تهیه کنید.

این یعنی هر URL جدید یتیمی که فقط از طریق نقشه سایت XML قابل دیسکاور شدن است، خزیده می‌شود.

۲- از بخش «Configuration > API Access» به ‌گوگل ‌آنالتیکس متصل شوید.

شما می‌توانید به Google Analytics API متصل شوید و داده‎ها را روی یک اکانت، مقدار، ویو یا سگمنت خاصی، در طول کرال بررسی کنید. برای پیدا کردن صفحات یتیم از طریق جستجوی ارگانیک، باید بخش «Organic Traffic» را انتخاب کنید.

می‏توانید برای بررسی و تحلیل‌تان یک بازه زمانی انتخاب کنید. ایده‌آل‌ترین حالت این است که بازه زمانی تعببن شده حداقل یک ماه باشد. همچنین معیارها و ابعادی را که می‌توانید به عنوان پیش فرض بگذارید. اگر می‌خواهید صفحات یتیم را از طریق منابع دیگر نیز شناسایی کنید، می‌توانید این بخش را به «All Users» و «Paid Traffic» تغییر دهید.

۳- «Crawl New URLs Discovered In Google Analytics» را انتخاب کنید.

برای پیدا کردن این گزینه به Configuration > API Access > Google Analytics بروید رو روی گزینه General کلیک کنید.

اگر این گزینه فعال نباشد،URL های جدید دیسکاور شده از طریق ‌گوگل ‌آنالتیکس فقط برای مشاهده در گزارش «Orphan Pages» در دسترس خواهد بود.

۴- در بخش «Configuration > API Access» به سرچ کنسول متصل شوید.

‌می‌توانید بهSearch Analytics API  متصل شوید و داده‎هایی مثل ایمپرشن، کلیک، CTR وposition metric ها را به طور مستقیم هنگام خزیدن به دست آورید.

۵- گزینه «Crawl New URLs Discovered In Google Search Console» را انتخاب کنید.

از طریق مسیر Configuration > API Access > Google Search Console و کلیک روی General  می‌توانید به این گزینه دسترسی داشته باشید.

اگر این گزینه فعال نباشد، مثل ‌گوگل ‌آنالتیکس،URL های جدید دیسکاور شده از طریق سرچ کنسول گوگل فقط برای مشاهده در گزارش «Orphan Pages» در دسترس خواهند بود.

۶- کرال کردن وب‌سایت

وارد ScreamingFrog شوید، «Enter URL to spider» را وارد کرده و روی Start کلیک کنید.

شما می‌توانید روند پیشرفت API را رصد کرده و از طریق progress bars  و تب API کرال انجام دهید.

‌وب‌سایت وURL هایی که جدیدا از طریق نقشه سایت XML، ‌گوگل ‌آنالتیکس وسرچ کنسول دیسکاور شده‌اند، متعاقبا خزیده می‌شوند. صبر کنید تا خزیدن تمام شده و به ٪۱۰۰ برسد.

۶- برای پر کردن فیلترهای URL یتیم روی «Crawl Analysis> Start» کلیک کنید.

وقتی کرال کردن کامل شود، SEO Spider فقط می‌داند کدام URLها در نقشه سایت XML وجود ندارد و بالعکس. برای پر کردن این سه فیلتر URL یتیم، کافیست روی گزینه Start کلیک کنید.

با این حال، اگر قبلا Crawl Analysis»» را کانفیگ کرده‌ باشید، ممکن است بخواهید دوباره آن را بررسی کنید.

۷- آنالیز فیلترهای «Orphan URLs» در تب‌های Sitemaps، Analytics و Search Console

اکنون می‎توانید برای مشاهده صفحه‌های یتیم پیدا شده، هر برگه و فیلتر مربوط به «Orphan URLs» را بررسی کنید.

۸- خروجی گرفتن از صفحات یتیم از طریق «Reports > Orphan Pages»

با روش زیر می‌توانید از صفحه یتیم سایت‌تان خروجی بگیرید:

در این مقاله با صفحه یتیم نحوه کشف آن‌ آشنا شدیم و فهمیدیم چرا این صفحات می‌توانند به سئوی سایت ما آسیب برسانند. با استفاده از روش‌هایی که در طول این مقاله بررسی کردیم، می‌توانید مشکل صفحات یتیم سایت‌تان را پیدا کرده و آن‌ها را برطرف کنید. اگر روش دیگری وجود دارد که در این مقاله ذکر نکرده‌ایم لطفا در بخش کامنت اطلاع دهید.