بودجه خزش (crawl budget) به طور متوسط تعداد URL هایی است که Googlebot قبل از خروج در سایت شما جستجو کرده است ، بنابراین بهینه سازی بودجه ی جستجو اطمینان می دهد که Googlebot وقت خود را برای جستجو در صفحات غیر مهم شما تلف نمی کند و ریسک نادیده گرفتن صفحات مهم شما وجود ندارد. بودجه ی جستجو در سایت های بسیار بزرگ با ده ها هزار آدرس اینترنتی از اهمیت بیشتری برخوردار است ، اما هرگز فکر بدی نیست که از دسترسی جستجوگرها به محتوایی که قطعاً برای شما مهم نیست جلوگیری کنید. فقط مطمئن شوید که دسترسی جستجوگر به صفحاتی که سایر دستورالعمل ها را به آن ها اضافه کرده اید ، مانند برچسب های canonical یا noindex ، مسدود نشده است. اگر Googlebot از یک صفحه مسدود شده باشد ، نمی تواند دستورالعمل های آن صفحه را ببیند.

همه ربات های وب از robots.txt پیروی نمی کنند. افرادی که قصد بدی دارند (به عنوان مثال،  اسکریپرهای پست الکترونیکی) ربات هایی را ایجاد می کنند که از این پروتکل پیروی نمی کنند. در حقیقت ، برخی از فایل های robots.txt برای پیدا کردن محل نگهداری محتوای خصوصی شما استفاده می کنند. اگرچه ممکن است منطقی به نظر برسد که جستجوگرها را از صفحات خصوصی مانند صفحات ورود به سیستم و مدیریت به گونه ای که در فهرست نمایش داده نشود باز بداریم، قرار دادن مکان این URL ها در یک فایل robots.txt با دسترسی عمومی ، همچنین به معنای آن است که افراد با سو قصد راحت تر می تواند آنها را پیدا کنند. بهتر است این صفحات را NoIndex قرار داده و آنها را پشت فرم ورود نگه دارید تا اینکه آنها را در پرونده robots.txt قرار دهید.

تعریف پارامترهای URL در GSC

برخی از سایت ها (بیشتر مشاغل در تجارت الکترونیکی) با افزودن پارامترهای خاص به URL ها ، محتوای یکسانی را در چندین URL مختلف در دسترس قرار می دهند. اگر تا به حال به صورت آنلاین خرید کرده اید ، احتمالاً جستجوی خود را از طریق فیلترها محدود کرده اید. به عنوان مثال ، شما می توانید در آمازون به دنبال کفش باشید ، و سپس جستجو را بر اساس اندازه ، رنگ و سبک اصلاح کنید. هر بار که اصلاح می کنید ، URL کمی تغییر می کند:

https://www.example.com/products/women/dresses/green.htmhttps://www.example.com/products/women?category=dresses&color=greenhttps://example.com/shopindex.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43

چگونه Google می داند کدام نسخه از URL را برای جستجوگران ارائه دهد؟

Google کاملاً به خوبی می تواند URL نماینده را خود مشخص کند ، اما شما می توانید از ویژگی پارامترهای URL در Google Search Console استفاده کنید تا به Google بگویید دقیقاً چگونه می خواهید با صفحات شما رفتار کند. اگر از این ویژگی برای گفتن به Googlebot هیچ نشانی اینترنتی با پارامتر ____ جستجو نکن استفاده می کنید ، در اصل می خواهید این محتوا را از Googlebot پنهان کنید ، که می تواند منجر به حذف آن صفحات از نتایج جستجو شود. زمانی که شما می خواهید پارامترها صفحات تکراری ایجاد کنند این راه حل خوبی است ، اما اگر می خواهید این صفحات نمایه شوند ایده آل نیست.

آیا جستجوگرها می توانند همه مطالب مهم شما را پیدا کنند؟

اکنون که از برخی روش های اطمینان از دور ماندن جستجوگرهای موتور جستجو از محتوای بی اهمیت خود مطلع هستید ، بیایید در مورد بهینه سازی هایی که به Googlebot کمک می کند صفحات مهم شما را پیدا کند صحبت کنیم.

گاهی اوقات یک موتور جستجو قادر است قسمت هایی از سایت شما را با جستجو پیدا کند ، اما ممکن است به همین دلیل یا به دلایل دیگر صفحات یا بخش های دیگر پنهان باشند. اطمینان از اینکه موتورهای جستجو قادر به کشف تمام محتوایی هستند که می خواهید فهرست بندی شوند و نه فقط صفحه اصلی شما بسیار مهم است.

برای سئوی سایت خود به این سوالات پاسخ دهید:

آیا ربات می تواند علاوه بر دسترسی به سایت شما، از طریق آن جستجو کند؟

آیا محتوای شما در پشت فرم های ورود به سیستم پنهان است؟ اگر قبل از دسترسی به محتوای خاص، لازم است کاربران وارد سیستم شوند ، فرم هایی را پر کنند یا به نظرسنجی ها پاسخ دهند، موتورهای جستجو آن صفحات محافظت شده را نمی بینند. در این صورت یک خزنده (جستجوگر) قطعاً وارد سیستم نمی شود.

آیا به فرم های جستجو اعتماد می کنید؟

ربات ها نمی توانند از فرم های جستجو استفاده کنند. برخی از افراد بر این باورند که اگر یک باکس جستجو را در سایت خود قرار دهند، موتورهای جستجو قادر به یافتن هر آنچه بازدید کنندگان آنها جستجو می کنند می شوند.

آیا متن در محتوای غیر متنی پنهان است؟

نباید از فرم های رسانه ای غیر متنی (تصاویر ، ویدئو ، GIF و غیره) برای نمایش متنی که می خواهید نمایه سازی شود استفاده کنید. در حالی که موتورهای جستجو در شناخت تصاویر بهتر می شوند، هنوز تضمینی وجود ندارد که بتوانند آن را بخوانند و درک کنند. همیشه بهتر است متن را در مارک آپ <HTML>  صفحه وب خود اضافه کنید.

آیا موتورهای جستجو می توانند جستجوی سایت شما را دنبال کنند؟

همانطور که یک خزنده (جستجوگر) نیاز دارد سایت شما را از طریق پیوند به سایت های دیگر کشف کند ، به یک مسیر پیوند در سایت شخصی شما نیز نیاز دارد تا آن را از صفحه ای به صفحه دیگر هدایت کند. اگر صفحه ای دارید که می خواهید موتورهای جستجو آن را پیدا کنند ، اما از صفحه دیگری به آن پیوند داده نشده است ، دقیقا مثل این است که آن صفحه نامرئی است. بسیاری از سایت ها با ایجاد ساختار پیمایشی خود به روش هایی که برای موتورهای جستجو غیرقابل دسترسی است، دچار اشتباه می شوند و مانع ثبت آن ها در نتایج جستجو می شوند.

اشتباهات معمول پیمایش که باعث می شود بودجه خزش (crawl budget) نتوانند همه سایت شما را ببینند:

• داشتن جستجوی موبایلی که نتایج متفاوتی از پیمایش دسک تاپ شما نشان دهد.
• هر نوع پیمایش در HTML وجود ندارد، مانند پیمایش های دارای JavaScript. گوگل در خزیدن و درک Javascript بسیار بهتر شده است، اما هنوز روند کاملی نیست. روش مطمئن تر برای اطمینان از یافتن ، درک و نمایه سازی چیزی توسط Google، قرار دادن آن در HTML است.
• شخصی سازی ، یا نشان دادن پیمایش منحصر به فرد به نوع خاصی از بازدید کنندگان ، برای یک موتور خزنده جستجو دشوار است.
• فراموش کردن پیوند دادن به یک صفحه اصلی در وب سایت خود ( پیمایش خود). به یاد داشته باشید ، پیوند مسیری است که خزنده ها آن ها را به سوی صفحات جدید دنبال می کنند!

به همین دلیل ضروری است که وب سایت شما دارای یک پیمایش روشن و ساختارهای مفید پوشه URL باشد.

نقش معماری اطلاعات در بودجه خزش (crawl budget)

معماری اطلاعات ، شیوه سازماندهی و برچسب گذاری محتوا در وب سایت برای بهبود کارایی و قابلیت جستجو و یافتن آن برای کاربران است. بهترین معماری اطلاعات بصری است ، به این معنی که کاربران برای عبور از وب سایت شما یا برای یافتن چیزی نیازی به تفکر زیاد ندارند.

نقش استفاده از نقشه سایت (site map) در بودجه خزش (crawl budget)

نقشه سایت دقیقاً همان چیزی است که به نظر می رسد: لیستی از URL ها در سایت شما که خزنده ها می توانند با استفاده از آنها محتوای شما را کشف و فهرست بندی کنند. یکی از ساده ترین راه ها برای اطمینان از اینکه Google در حال یافتن صفحات با بالاترین اولویت برای شما است، ایجاد پرونده ای مطابق با استانداردهای Google و ارسال آن از طریق Google Search Console می باشد. اگرچه ارسال نقشه سایت جایگزین نیاز به پیمایش مناسب سایت نمی شود ، اما مطمئناً می تواند به خزنده ها کمک کند تا راهی به همه ی صفحات مهم شما دنبال کنند.

اطمینان حاصل کنید که فقط URL هایی را که می خواهید توسط موتورهای جستجو فهرست بندی شود ، قرار داده اید و حتماً به خزنده ها دستورالعمل های مداوم دهید. به عنوان مثال ، اگر این URL را از طریق robots.txt مسدود کرده اید ، آن را در نقشه سایت خود قرار ندهید یا در نقشه سایت خود URL هایی را که به جای نسخه متعارف ترجیحی ، تکراری هستند ، قرار دهید

اگر هیچ سایت دیگری به سایت شما پیوند ندارد، هنوز هم می توانید با ارسال نقشه سایت XML خود در Google Search Console آن را در فهرست بندی قرار دهید. هیچ تضمینی برای قرار گرفتن URL ارسال شده را در فهرست وجود ندارد ، اما ارزش آن را دارد که امتحان کنید!

سپنتا ارائه دهنده راهکارهای دیجیتال مارکتینگ