موتورهای جستجو چطور کار می‌کنند؟

در این مطلب قصد داریم مقدمه‌‌ای در مورد نحوه کار موتورهای جستجو به شما ارائه دهیم. این فرایندها شامل ‌کرال، ایندکس و رتبه‌بندی کردن صفحات و همچنین مفاهیم دیگری در این زمینه است. پس با ما همراه باشید تا ببینیم موتورهای جستجو چطور کار می‌کنند؟

موتورهای جستجو با ‌کرال کردن صدها میلیارد صفحه با استفاده از خزنده‌های وب‌شان، کار می‌کنند. این خزنده‌های وب معمولا به عنوان ربات‌های موتور جستجو یا عنکبوت (spider) شناخته می‌شوند. یک موتور جستجو با لود کردن صفحات وب و دنبال کردن لینک‌ها در این صفحات‌، آن‌ها را پیمایش خواهد کرد تا صفحات جدیدی که در دسترس است را پیدا کند.

در واقع، موتورهای جستجو، دستگاه پاسخگویی هستند. آن‌ها برای کشف، درک و سازماندهی محتوای موجود در اینترنت به وجود آمده‌اند تا بتوانند مرتبط‌ترین نتایج را به سوالاتی که جستجوگران از آن‌ها می‎پرسند، ارائه دهند.

برای اینکه سایت شما در نتایج جستجو نشان داده شود، ابتدا باید محتوای‌تان برای موتورهای جستجو قابل مشاهده باشد. مسلما مهم‎ترین بخش معمای سئو این است: اگر سایت شما پیدا نشود، هیچ راهی برای نمایش آن در SERP (صفحه نتایج موتور جستجو) وجود ندارد.

برای این که ببینیم موتورهای جستجو چطور کار می‌کنند، باید عملکرد اصلی آن را بررسی کنیم.

سه عملکرد اصلی موتورهای جستجو

کرال کردن: کل صفحات وب را جستجو می‌کند. (کد یا محتوای هر URL را که پیدا کند، آن را جستجو خواهد کرد.)

ایندکس کردن: محتوای پیدا شده طی مراحل کرالینگ را ذخیره و سازماندهی می‌کند. هنگامی که یک صفحه در ایندکس قرار گرفت، در حال اجرا است تا برای سوالات مربوطه، نمایش داده شود.

رنکینگ یا رتبه‌بندی: برای هر کوئری، بخش‌هایی از محتوا را ارائه می‌کند که به بهترین وجه به سوال کاربر پاسخ بدهد، این بدان معناست که نتایج به ترتیب از نزدیک‌ترین به دورترین پاسخ، رتبه می‌گیرند.

کرالینگ موتور جستجو چیست؟

اولین قدم برای اینکه بفهمیم موتورهای جستجو چطور کار می‌کنند، مبحث کرالینگ است.

کرالینگ (Crawling)، فرآیندی است که توسط خزنده‌های وب موتور جستجو (ربات‌ها یا عنکبوت‌ها) برای بازدید و دانلود یک صفحه و استخراج لینک‌های آن به منظور ‌پیدا کردن سایر صفحات، استفاده می‌شود.

در واقع کرال کردن، اولین قدم ‌برای کشف صفحات موجود در وب است.

از آنجایی که یک رجیستری مرکزی برای همه صفحات وب وجود ندارد‌، ‌گوگل باید دائما صفحات جدید را جستجو و ‌آن‌ها را به لیست صفحات شناخته شده خود، اضافه کند. البته برخی از این صفحات شناخته شده‌اند زیرا ‌گوگل قبلا از ‌آن‌ها بازدید کرده است. وقتی ‌گوگل لینکی از یک صفحه شناخته شده به یک صفحه جدید را دنبال می‌کند‌، سایر صفحات ‌دیسکاور (کشف) می‌شوند. وقتی مدیر وب‌سایت، لیستی از صفحات (نقشه سایت) را برای ‌کرال شدن توسط ‌گوگل ارسال می‌کند‌، سایر صفحات ‌دیسکاور می‌شوند. اگر از یک وب هاست مدیریت شده مانند وردپرس یا Blogger استفاده می‌کنید‌، ممکن است ‌آن‌ها به ‌گوگل بگویند که هر صفحه به روز شده یا جدیدی را که ایجاد می‌کنید، جستجو کند.

هنگامی که ‌گوگل یک URL صفحه را ‌دیسکاور می‌کند‌، از آن صفحه بازدید کرده یا عبور می‌کند، تا بفهمد چه چیزی در آن وجود دارد. ‌گوگل صفحه را ارائه می‌دهد و متن و محتوای غیرمتنی آن را تجزیه و تحلیل می‌کند تا تصمیم بگیرد که کجا باید این صفحه را در نتایج جستجو نشان بدهد. هرچه ‌گوگل بهتر بتواند سایت شما را درک کند‌، بهتر می‌تواند آن را به افرادی که به دنبال محتوای مرتبط با سایت شما هستند، نشان بدهد.

صفحات شناخته شده برای موتور جستجو به‌صورت دوره‌‌ای کرال می‌شوند تا مشخص شود آیا از آخرین باری که ربات‌ها از آن صفحه بازدید کرده‌اند‌، تغییری در محتوای آن ایجاد شده است یا خیر. اگر یک موتور جستجو پس از ‌کرال کردن یک صفحه‌، تغییرات آن را تشخیص دهد‌، این شاخص را در پاسخ به این تغییرات شناسایی شده، آپدیت می‌کند.

 کرالینک وب چطور کار می‌کند؟

موتورهای جستجو از خزنده وب خود برای ‌دیسکاور کردن و دسترسی به صفحات وب استفاده می‌کنند.

تمام کرالرهای موتور جستجو با بارگیری فایل robots.txt آن‌، که حاوی قوانینی درباره صفحات است که به موتورهای جستجو اجازه می‌دهند آن صفحات را کرال کنند. فایل robots.txt همچنین ممکن است حاوی اطلاعاتی در مورد نقشه سایت یا همان سایت‌مپ باشد. این فایل شامل لیستی از URL‌هایی است که یک وب‎سایت، می‌خواهد خزنده‌های موتور جستجو آن‌ها را کرال کنند.

خزنده‌های موتور جستجو از تعدادی الگوریتم و قانون برای تعیین تعداد دفعات بازدید مجدد یک صفحه و ایندکس شدن تعداد صفحات در یک سایت استفاده می‌کنند. به عنوان مثال‌، صفحه‌‌ای که به طور منظم تغییر می‌کند، ممکن است بیشتر از صفحه‌‌ای که بندرت آپیدت می‌شود‌، کرال شود.

 چگونه می‌توان کرالرهای موتور جستجو را شناسایی کرد؟

ربات‌های موتور جستجو که در حال ‌کرال کردن یک وب سایت هستند‌، می‌توانند از طریق «رشته عامل کاربر» یا همان user agent string که هنگام درخواست صفحات وب به وب سرور منتقل می‌شوند‌، شناسایی شوند.

در اینجا چند نمونه از رشته‌های عامل کاربر که توسط موتورهای جستجو استفاده می‌شود را به شما معرفی خواهیم کرد:

• عامل کاربر Googlebot

Mozilla / 5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

• عامل کاربرBingbot

Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)

• عامل کاربر Baidu

Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)

• عامل کاربر Yandex

Mozilla/5.0 (compatible; YandexBot/3.0; +https://yandex.com/bots)

هر کسی می‌تواند از user agent یا عامل کاربر مشابه موتورهای جستجو استفاده کند. با این حال‌، آدرس IP که درخواست را انجام داده است، می‌تواند تایید کند که این درخواست از سوی موتور جستجو آمده است. این فرایند، DNS reverse lookup نامیده می‌شود.

 کرال شدن تصاویر و سایر فایل‌های غیرمتنی

موتورهای جستجو معمولا سعی می‌کنند هر URLی که با آن برخورد می‌کنند‌ را کرال و ایندکس کنند.

با این حال‌، اگر URL از نوع فایل غیرمتنی مانند تصویر‌، فیلم یا فایل صوتی باشد‌، موتورهای جستجو معمولا قادر به خواندن محتوای فایل به غیر از نام آن و متادیتای مرتبط با آن نخواهند بود.

اگرچه ممکن است یک موتور جستجو فقط بتواند اطلاعات محدودی در مورد انواع فایل‌های غیرمتنی استخراج کند‌، اما باز هم می‌توان ‌آن‌ها را ایندکس یا در نتایج جستجو رتبه‌بندی کرد و از طریق آن، ترافیک بیشتری به دست آورد.

کرال کردن و استخراج لینک‌ها از صفحات

خزنده‌ها با کرال کردن مجدد صفحات موجود که قبلا در مورد ‌آن‌ها اطلاعات داشته‌‎اند‌، صفحات جدید را ‌دیسکاور کرده و سپس لینک‌های سایر صفحات را برای یافتن URL‌های جدید استخراج می‌کنند. این URL‌های جدید به صف ‌صفحاتی که قرار است کرال شوند، اضافه می‌شوند تا بتوانند در زمان دیگری دانلود شوند.

از طریق این فرایند در لینک‌های فالو، موتورهای جستجو قادر به پیدا کردن هر صفحه وبی هستند که در اینترنت موجود است و حداقل از یک صفحه دیگر به آن لینک داده شده است.

نقشه سایت یا سایت مپ

روش دیگری که موتورهای جستجو می‌توانند صفحات جدید را ‌دیسکاور کنند‌، ‌کرال کردن بر اساس نقشه‌های سایت است.

نقشه‌های سایت حاوی مجموعه‌‌ای از URL‌ها هستند و می‌توانند توسط یک وب‌سایت ایجاد شوند تا لیستی از صفحات قابل ‌کرال شدن را در اختیار موتورهای جستجو قرار دهند. سایت‌ مپ‌ها می‌توانند به موتورهای جستجو کمک کنند تا محتوای پنهان شده در وب‌سایت را پیدا کرده و همچنین می‌توانند به مدیران وب‎سایت، امکان کنترل و درک بهتر زمینه‌های ‌‌ایندکس شدن سایت را بدهند. در واقع بر اساس سایت مپ می‌توانید به خزنده‌ها بگویید کدام صفحات را در سایت شما کرال کنند.

 ارسال صفحه

ارسال تک تک صفحه‌ها می‌تواند به طور مستقیم از طریق رابط مربوط به موتورهای جستجو انجام شود. وقتی محتوای جدیدی در سایت منتشر می‌کنید یا اگر تغییراتی در سایت‌تان رخ داده است و می‎خواهید مدت زمان لازم برای مشاهده این صفحات تغییر یافته توسط موتورهای جستجو را به حداقل برسانید، می‌توانید از این روش دستی برای دیسکاور کردن یک صفحه استفاده کنید.

گوگل عنوان کرده که برای حجم بالای URL باید از نقشه سایت XML استفاده کنید‌، اما گاهی اوقات روش ارسال دستی، هنگام ارسال چند صفحه هم می‌تواند مناسب باشد. همچنین توجه به این نکته مهم است که ‌گوگل، مدیران وب‎سایت‌ها را به ارسال فقط ۱۰ URL در روز محدود می‌کند.

وقتی موتور جستجو به ‌کرال کردن یک صفحه پایان می‌دهد، چه اتفاقی می‌افتد؟ بیایید نگاهی به روند ‌‌ایندکس شدن بیندازیم. موتورهای جستجو از ایندکس برای ذخیره اطلاعات در مورد صفحات وب استفاده می‌کنند و این کار، به ‌آن‌ها امکان می‌دهد تا به سرعت نتایج مرتبط و باکیفیت را به کاربران نشان بدهند.

برای بهبود ‌کرال شدن سایت‌مان چه کار کنیم؟

• بررسی کنید که آیا ‌گوگل می‌تواند به صفحات سایت شما دسترسی پیدا کند یا خیر. گوگل به عنوان یک کاربر ناشناس، به وب دسترسی دارد (کاربری بدون گذرواژه یا اطلاعات) و همچنین باید بتواند تمام تصاویر و سایر عناصر صفحه را ببیند تا بتواند آن را به درستی درک کند. می‌توانید با تایپ URL صفحه در  Mobile-Friendly Test یا نسخه سازگار با موبایل وب‌سایت خود، یک بررسی سریع انجام دهید.
• اگر یک صفحه ایجاد کرده‌اید یا صفحات قبلی سایت را آپدیت کرده‌اید‌، می‌توانید یک URL منحصر به فرد به ‌گوگل ارسال کنید. برای اینکه به ‌گوگل بفهمانید تعداد زیادی از صفحات سایت‌تان به تازگی ایجاد یا آپدیت شده‌اند، می‌توانید از نقشه سایت استفاده کنید.
• اگر از ‌گوگل خواسته‌اید که فقط یک صفحه را کرال کند‌، بهتر است آن را به عنوان صفحه اصلی خود قرار دهید. صفحه اصلی از نظر ‌گوگل، مهم‌ترین صفحه در سایت شماست. برای تشویق به ‌کرال شدن کامل سایت‌، مطمئن شوید که صفحه اصلی شما (و همه صفحات) حاوی یک سیستم پیمایش سایت خوب و مناسب است (ساختار مناسب مثلا داشتن یک معماری فلت برای سایت) که به تمام بخش‌ها و صفحات مهم سایت، لینک‌ داخلی درستی دارند. این موضوع، به کاربران (و گوگل) کمک می‌کند تا مسیر خود را در سایت شما پیدا کنند. برای سایت‌های کوچکتر (کمتر از ۱۰۰۰ صفحه)‌، آگاهی ‌گوگل از صفحه اصلی شما تنها چیزی است که لازم دارید‌، به شرطی که ‌گوگل بتواند با دنبال کردن مسیر لینک‌هایی که از صفحه اصلی شما شروع می‌شود‌، به تمام صفحات دیگر سایت برسد.
• صفحه خود را با صفحه دیگری که ‌گوگل قبلا از آن مطلع بوده است (قبلا آن‌ها را ایندکس کرده است)، لینک دهید. با این حال‌، باید حواستان به این نکته مهم باشد که لینک‌‏های موجود در تبلیغات‌، لینک‌هایی که برای آن‌ها به سایت‌های دیگر پول پرداخت می‌کنید‌، لینک‌های موجود در بخش نظرات‌، یا لینک‌های دیگری که از دستورالعمل‌های ‌وبمستر گوگل پیروی نمی‌کنند‌، توسط ‌گوگل دنبال نمی‌شوند. (فراموش نکنید که گرفتن بک لینک فالو از این صفحات نه تنها به صرفه نیست بلکه به شدت خطرناک است و همه‌ی این لینک‌ها باید نوفالو باشند.)

‌‌ایندکسینگ موتور جستجو چیست؟

قدم بعدی برای درک این موضوع که موتورهای جستجو چطور کار می‌کنند، بحث ایندکسینگ و فهرست‌بندی است.

بعد از ‌دیسکاور شدن یک صفحه‌، ‌گوگل سعی می‌کند بفهمد این صفحه مربوط به چیست. این فرآیند ‌‌ایندکس کردن نام دارد. گوگل محتوای صفحه را تجزیه و تحلیل می‌کند‌، تصاویر و فایل‎های ویدیویی قرار گرفته در صفحه را فهرست‌‎بندی کرده و در غیر این صورت، سعی می‌کند این صفحه را درک کند. این اطلاعات در ایندکس گوگل ذخیره می‌شود‌.

برای بهبود ‌‌ایندکس کردن صفحات خود توسط گوگل:

• عنوان کوتاه و معنی‏‌دار برای صفحه ایجاد کنید.
• از عناوینی که موضوع صفحه را نشان می‌دهند استفاده کنید.
• برای انتقال محتوا به جای تصاویر از متن استفاده کنید. گوگل می‌تواند برخی از تصاویر و ویدیوها را درک کند‌، اما نه به آن خوبی که از پس درک کردن متن برمی‌آید. ویدئوها و تصاویر را متناسب با متن alt و سایر مشخصات مورد نیاز، در صفحه‌تان آپلود کنید.

ایندکس موتور جستجو

صفحات وبی كه توسط موتور جستجوگر دیسکاور شده‌اند، به يك ساختار داده به نام index اضافه مي‎‌شوند.

این فهرست شامل کلیه URL‌های ‌دیسکاور شده به همراه تعدادی سیگنال اصلی مربوط به محتوای هر URL مانند:

• کلمات کلیدی پیدا شده در محتوای صفحه – این صفحه چه موضوعاتی را پوشش می‌دهد؟
• نوع محتوایی که درحال ‌کرال شدن است (با استفاده از میکرودیتاهایی به نام Schema) – چه چیزی در صفحه گنجانده شده است؟
• تازگی محتوای صفحه – این محتوا آخرین بار چه زمانی به‌روز شده است؟
• تعامل قبلی کاربر با صفحه و / یا دامنه – تعامل افراد با صفحه چگونه است؟

هدف الگوریتم موتور جستجو چیست؟

هدف الگوریتم موتور جستجو، ارائه مجموعه‌‌ای از نتایج جستجو با کیفیت بالا است که در سریع‌ترین زمان ممکن، پرسش و سوالات کاربر را جواب می‌دهد.

پس از مشاهده نتایج، کاربر گزینه‌‌ای را از لیست نتایج جستجو انتخاب می‌کند و این عمل‌، همراه با فعالیت‌های بعدی او در وب‌سایتی که انتخاب کرده، می‌تواند بر رتبه‌بندی موتور جستجو تاثیر بگذارد.

 وقتی جستجو انجام می‌شود چه اتفاقی می‌افتد؟

هنگامی که یک کوئری توسط کاربر وارد موتور جستجو می‌شود‌، تمام صفحاتی که قبلا ایندکس شده‌اند و به موضوع مورد جستجو مرتبط‌اند، به صورت مجموعه‌‌ای از نتایج به او نمایش داده می‌شود.

الگوریتم‌های مورد استفاده برای رتبه‌بندی مرتبط ترین نتایج، برای هر موتور جستجو متفاوت است. به عنوان مثال‌، صفحه‌‌ای که رتبه بالایی برای یک کوئری در ‌گوگل دارد‌، ممکن است رتبه بالایی برای همان کوئری در Bing نداشته باشد.

علاوه بر خود کوئری‎‌ها، موتورهای جستجو از سایر داده‌های مربوط برای بازگرداندن نتایج و نمایش آن‌ها به کاربر استفاده می‌کنند‌، از جمله:

• مکان – برخی از کوئری‌ها به موقعیت مکانی وابسته هستند‌، به عنوان مثال «کافه‌های نزدیک من» بر اساس موقعیت مکانی شما سنجیده می‌شود. یعنی وقتی این کوئری را در تهران و بوشهر جستجو می‌کنید، نتایج متفاوتی به شما نشان داده می‌شود.
• شناسایی زبان – در صورت تشخیص، موتورهای جستجو نتایج را به زبان کاربر باز می‌گردانند.
• سابقه جستجوی قبلی – موتورهای جستجو بر اساس آن چیزی که کاربر قبلا جستجو کرده است‌، نتایج متفاوتی را ارائه می‌دهند.
• دستگاه – ممکن است نتایجی که برگردانده می‌شود، بر اساس دستگاهی که جستجو در آن انجام شده، متفاوت باشد. مثلا وقتی یک سوال را در موبایل یا لپ‌تاپ جستجو می‌کنید، ممکن است نتایج نشان داده شده یکسان نباشند.

 چرا ممکن است یک صفحه ایندکس نشود؟

شرایطی وجود دارد که ممکن است یک URL توسط موتور جستجو ایندکس نشود. این اتفاق ممکن است به دلیل موارد زیر به وجود بیاید:

• استثنائات فایل robots.txt – فایلی که به موتورهای جستجو می‌گوید چه چیزهایی را نباید در سایت شما کرال کنند.
• دستورالعمل‌های مربوط به صفحه وب که به موتورهای جستجو می‌گویند یک صفحه را ایندکس نکنند (noindex tag) یا صفحه مشابه دیگری را تگ‌گذاری کنند (canonical tag).
• الگوریتم‌های موتور جستجو، صفحات سایت شما را از نظر کیفیت بررسی می‌کنند و اگر تشخیص بدهند که صفحه شما بی‌کیفیت است یا محتوای بی‌ارزش و تکراری دارد، آن را ایندکس نمی‌کنند.
• URLی که صفحه خطا را باز می‌گرداند (به عنوان مثال کد پاسخ 404 Not Found).

 چرا موتورهای جستجو نیاز دارند صفحات را ایندکس کنند؟

یادتان هست وقتی اینترنت وجود نداشت، چطور زندگی می‌کردیم؟ برای به دست آوردن جواب یک سوال ساده باید به سراغ دایره‌المعارف‌ها می‌رفتیم و برای پیدا کردن شماره یک لوله‏‌کش، صفحات نیازمندی‌های روزنامه‌‎ها را زیر و رو می‏کردیم. حتی در سال‌های اول ظهور اینترنت، قبل از به وجود آمدن موتورهای جستجو‌، برای بازیابی اطلاعات مجبور به جستجوی ایندکس‌ها شدیم که پروسه‌‌ای بسیار زمان‌بری بود. واقعا چه صبر و حوصله‌ای داشتیم؟! نه؟

موتورهای جستجو در بازیابی اطلاعات و نمایش آن‌ها به کاربرانی که می‌خواهند هر چه سریع‌تر پاسخ سوالات خود را دریافت کنند، انقلابی ایجاد کرده‌‎اند .

‌‌پس تا اینجا فهمیدیم که ایندکس کردن فرآیندی است که طی آن موتورهای جستجو، پیش از انجام سرچ توسط کاربر، اطلاعات را سازماندهی می‌کنند تا وقتی جستجو انجام شد، بتوانند پاسخ‌های مناسب را هر چه سریع‌تر به کاربران ارائه دهند.

جستجوی کلمات کلیدی و موضوعات در صفحات منفرد برای موتورهای جستجو (برای شناسایی اطلاعات مربوط و مورد نیاز) کاری بسیار کند و زمان‏بر است. در عوض‌، موتورهای جستجو (از جمله گوگل) از ایندکس معکوس استفاده می‌کنند‌ که با عنوان reverse index شناخته می‌شود.

 ایندکس معکوس چیست؟

ایندکس معکوس‌، سیستمی است که در آن پایگاه داده‌‌ای از عناصر متنی به همراه اشاره‌‎گرهایی برای داکیومنت‌هایی که حاوی این عناصر هستند‌، تهیه می‌شود. سپس‌، موتورهای جستجو از فرایندی به نام tokenisation استفاده می‌کنند تا کلمات را به معنای اصلی ‌آن‌ها کاهش دهند‌، در نتیجه مقدار منابع مورد نیاز برای ذخیره و بازیابی داده‌ها کاهش می‌یابد. این روش، بسیار سریع‌تر از لیست کردن تمام داکیومنت‌های شناخته شده در مقابل کلمات کلیدی و کاراکترهای مرتبط است.

 نسخه ذخیره (Cache) شده یک صفحه

علاوه بر صفحه‌های ‌‌ایندکس شده‌، موتورهای جستجو ممکن است یک نسخه فشرده کاملا متنی که شامل تمام HTMLها و متادیتاهاست‌ را ذخیره کنند.

داکیومنت ذخیره شده، آخرین snapshot از صفحه است که موتور جستجو مشاهده کرده است.

با کلیک روی پیکان کوچک سبز رنگ در کنار URL هر نتیجه جستجو و انتخاب گزینه حافظه پنهان (cache)‌، می‌توانید به نسخه کش شده یک صفحه دسترسی پیدا کنید (در ‌گوگل). همچنین می‌توانید از اپراتور جستجوی ‌گوگل به صورت «cache:» برای مشاهده نسخه ذخیره شده صفحه استفاده کنید.

بینگ برای مشاهده نسخه کش شده یک صفحه از طریق یک پیکان سبز در پایین و کنار هر نتیجه جستجو‌، همین امکان را ارائه می‌دهد اما در حال حاضر از اپراتور جستجوی «cache:» پشتیبانی نمی‌کند.

 PageRank چیست؟

PageRank یکی از الگوریتم‌های گوگل است که به نام بنیانگذار ‌گوگل‌، لری پیج، نامگذاری شده است. (بله‌، واقعا!) پیج رنک، با احتساب تعداد و کیفیت لینک‌هایی که به هر صفحه از سایت داده می‎شود، یک امتیاز نسبی قدرت و اهمیت برای آن صفحه در نظر می‌گیرد. مقدار منتقل شده توسط هر لینک منفرد، بر اساس تعداد و مقدار لینک‌هایی است که به صفحه دارای لینک اشاره می‌کنند.

PageRank فقط یکی از چندین سیگنالی است که در الگوریتم بزرگ رتبه‌بندی گوگل استفاده می‌شود.

در ابتدا مقدار تقریبی مقادیر PageRank توسط ‌گوگل در اختیار همه افراد قرار می‌گرفت، اما در حال حاضر به صورت عمومی قابل مشاهده نیست.

در حالی که پیچ رنک یک الگوریتم گوگل است‌، تمام موتورهای جستجوی تجاری، معیار ارزش معادل لینک را محاسبه و استفاده می‌کنند. برخی از ابزارهای جستجوگرها با استفاده از منطق و محاسبات خاص خود سعی در تخمین PageRank دارند. به عنوان مثال‌،Page Authority  در ابزار Moz‌، TrustFlow در Majestic یا URL Rating در Ahrefs. DeepCrawl نیز معیاری به نام DeepRank برای اندازه‌گیری ارزش صفحات بر اساس لینک‎‌های داخلی وب‌سایت دارد.

چگونه PageRank از میان صفحات عبور می‌کند؟

صفحات از پیج رنک یا link equity عبور می‏کنند و از طریق لینک‌‎ها به سایر صفحات منتقل می‌شوند. وقتی یک صفحه، به محتوایی در جای دیگر لینک می‌زند، به عنوان نشانه اعتماد و اعتبار تلقی خواهد شد. از این رو محتوایی که به آن صفحه لینک داده شده، برای کاربران مرتبط و مفید توصیه می‌شود. شمارش این لینک‌‏ها و اندازه‎گیری میزان معتبر بودن وب سایت لینک‏دهنده‌، نسبت PageRank مربوط به صفحه لینک داده شده را تعیین می‌کند.

پیج رنک به طور مساوی در تمام لینک‏‌های ‌دیسکاور شده در یک صفحه تقسیم می‌شود. به عنوان مثال‌، اگر صفحه شما دارای پنج لینک باشد‌، هر لینک ۲۰ درصد از PageRank صفحه را از طریق هر لینک به صفحات مورد نظر منتقل می‌کند. لینک‌هایی که از ویژگی rel = “nofollow” استفاده می‌کنند، از پیج رنک عبور نخواهند کرد.

اهمیت بک لینک

بک لینک سنگ بنایی در درک موتورهای جستجو از اهمیت یک صفحه است. برای شناسایی ارتباط بین بک لینک و رتبه‌بندی‌، مطالعات و بررسی‌های زیادی انجام شده است.

تحقیقات انجام شده در مورد بک لینک توسط Moz نشان می‌دهد که در نتایج ۵۰ جستجوی برتر در ‌گوگل (۱۵۰۰۰ نتیجه جستجو)‌، ۹۹.۲ درصد از این موارد حداقل ۱ بک لینک خارجی داشتند. علاوه بر این‌، متخصصین سئو، به‌طور مرتب بک لینک را به عنوان یکی از مهم‌ترین عوامل رتبه‎بندی در نظرسنجی‌ها ارزیابی می‌کنند.

رتبه‌بندی موتورهای جستجو چیست؟

مرحله آخر در پاسخ به سوال موتورهای جستجو چطور کار می‌کنند، مبحث رتبه‌بندی است.

هنگامی که کاربر پرسشی را تایپ می‌کند‌، ‌گوگل بر اساس بسیاری از عوامل سعی می‌کند مرتبط‎ترین پاسخ را از صفحات ایندکس شده خود پیدا کند. ‌گوگل سعی دارد با در نظر گرفتن مواردی مانند مکان کاربر‌، زبان و دستگاه (دسکتاپ یا موبایل)‌، با بالاترین کیفیت پاسخ‌ها را در نظر داشته باشد و موارد دیگری را که بهترین تجربه کاربر و مناسب‏ترین پاسخ را به او ارائه می‌دهد‌، تعیین کند.

به عنوان مثال‌، جستجوی «تعمیرگاه‌های دوچرخه» پاسخ‌های متفاوتی را به کاربرانی که در هنگ کنگ یا پاریس زندگی می‌کنند، نشان می‌دهد. شما با پرداخت پول نمی‌توانید سایت خود را به صفحه اول نتایج گوگل بیاورید (در صورت پرداخت پول، لینک‌تان در صفحه اول قرار می‌گیرد ولی کنار لینک، گزینه Ad یا تبلیغات نشان داده می‌شود) و برای این که سایت شما به صورت ارگانیک به صفحه اول موتورهای جستجو وارد شود، حتما باید آن را بهینه کنید.

برای بهبود رتبه‌بندی سایت‌تان باید:

• سرعت بارگذاری سایت‌تان بالا باشد و قابلیت موبایل فرندلی داشته باشید.
• محتوای مفیدی را در صفحه خود قرار دهید و آن را به‎روز نگه دارید.
• دستورالعمل‌های ‌گوگل Webmaster را دنبال کنید‌، که به شما کمک می‌کند تا یک تجربه کاربری خوب برای کاربران‌تان ایجاد کنید.
• جدیدترین روش‌های سئو را روی سایت‌تان پیاده کنید.

برای تعیین ارتباط بین کوئری و نتایج ارائه شده، موتورهای جستجو از الگوریتم‌ها، فرایند یا فرمولی استفاده می‌کنند که اطلاعات ذخیره شده را به روش‌های معنی‌دار، بازیابی و مرتب می‌کند. این الگوریتم‌ها برای بهبود کیفیت نتایج جستجو، در طول سال‌های اخیر تغییرات زیادی داشته‌اند. به عنوان مثال گوگل، هر روز تنظیمات مختلفی را روی الگوریتم‌هایش انجام می‌دهد – برخی از این به آپدیت‌ها، اصلاحاتی با تغییرات جزئی هستند، در حالی که برخی دیگر به روزرسانی‌های اصلی / گسترده الگوریتم هستند که برای حل یک مسئله خاص استفاده شده‎اند، مثل الگوریتم پنگوئن که برای مقابله با لینک‌های اسپمی به کار گرفته شد.

چرا الگوریتم‌های گوگل اغلب تغییر می‌کنند؟

درست است که گوگل، همیشه دلایل اصلی آپدیت الگوریتم‌های خود را فاش نمی‌کند، اما ما می‎دانیم که هدف گوگل هنگام انجام تنظیمات الگوریتم و ایجاد تغییرات مختلف در آن، بهبود کیفیت کلی جستجو است. گوگل تمام تلاش خود را می‌کند تا مرتبط‌ترین محتوای مورد نیاز کاربر را در کوتاه‌ترین زمان ممکن در اختیار او بگذارد.

سخن پایانی

در این مطلب با بررسی سه عملکرد کرال، ایندکس و رتبه‌بندی کردن، فهمیدیم که موتورهای جستجو چطور کار می‌کنند و از چه روش‌هایی سعی دارند مرتبط‌ترین جواب‌ها را به پرسش‌های ما ارائه دهند. سعی تمام موتورهای جستجوگر، خصوصا گوگل، در سال‌های گذشته بر این بوده تا بتوانند تعامل بهتری با کاربران داشته باشند و الگوریتم‌های خود را طوری آپدیت کنند که بهترین و باکیفیت‌ترین محتوا را به کاربر نشان دهند.

فراموش نکنید برای اینکه در صفحه نتایج موتورهای جستجو رتبه بهتری داشته باشید، باید سایت خود را برای این موتورها کاملا بهینه کنید. محتوای شما باید باکیفیت و ارزشمند باشد و لینک‌سازی آن به شکلی انجام شده باشد که کرالرها بتوانند به راحتی محتوای آن صفحه و سایر صفحات لینک‌دهی شده را کرال کنند. سعی کنید جدیدترین تغییرات سئو را در وب‌سایت‌تان پیاده کنید تا رتبه‌تان دستخوش تغییرات الگوریتم‌ها نشود.