چیست و چگونه کار می کند
انتشار: بهمن 28، 1401
بروزرسانی: 17 تیر 1404

چیست و چگونه کار می کند

همانطور که متوجه شدید، SemrushBot یک خزنده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند که برای ارائه اطلاعات به روز برای فهرست بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود. شما می توانید با تغییر فرکانس یا جلوگیری از دسترسی عوامل مختلف کاربر به سایت شما از طریق فایل robots.txt، نحوه خزیدن SemrushBot در سایت شما را کنترل کنید.



منبع

این راهنما SemrushBot را توضیح می دهد.

فرآیند خزیدن برای SemrushBot با خزیدن ربات در یک وب سایت و ایجاد لیستی از لینک ها در هر صفحه وب برای استفاده برای خزیدن بیشتر شروع می شود. Semrush به این لیست به عنوان "مرز خزیدن" اشاره می کند، که به طور مکرر توسط SemrushBot برای کشف صفحات وب جدید، لینک های مرده و به روز رسانی محتوا بازدید می شود.

SemrushBot یک خزنده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند. داده های جمع آوری شده توسط SemrushBot برای ارائه اطلاعات به روز برای نمایه بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود.

در زیر، SemrushBot چیست، چگونه کار می کند و راه های کنترل این خزنده وب در وب سایت خود با استفاده از دستورالعمل هایی که ربات از آنها تبعیت می کند، خواهید یافت.

SemrushBot چیست؟

همچنین Semrush از User-Agent های مختلف برای ابزارهای مختلف در نرم افزار خود استفاده می کند. بنابراین، می توانید خزنده های SemrushBot خاصی را انتخاب کنید که می خواهید از دسترسی به دامنه خود جلوگیری کنید یا با اضافه کردن قانون Disallow به هر User-Agent در فایل robots.txt، همه آنها را حذف کنید.

SemrushBot با بازدید خودکار از صفحات وب در دسترس عموم برای کشف و جمع آوری داده های وب جدید و به روز شده کار می کند. فرآیند خزیدن صفحات وب، SemrushBot را قادر می سازد تا URL های جدید و پیوندهای مرده را در اینترنت پیدا کند تا پایگاه داده خود را با داده های پیوند تازه نگه دارد.

بر اساس محدودیت نرخ خزیدن و تقاضایی که به وب سایت اختصاص می دهد، SemrushBot تعداد متفاوتی از صفحات وب را در بازه های زمانی تعیین شده در طول هر بازدید می خزد تا داده های پیوند را با توجه به بار سرور فعلی دریافت کند. می توان به خزنده SemrushBot دستور داد که بین درخواست های یک وب سایت تا 10 ثانیه فواصل داشته باشد. مقادیر بالاتر به این حد 10 ثانیه کاهش می یابد.

SemrushBot می تواند توسط فایل robots.txt وب سایت شما کنترل شود تا فرکانس بازدید خزنده از وب سایت شما را تغییر دهد، از دسترسی ابزارهای Semrush خاص به داده های وب سایت شما جلوگیری کند، یا ربات را به طور کامل از خزیدن دامنه شما مسدود کند.

تغییر فرکانس Crawl SemrushBot

توجه: SemrushBot فقط می تواند تا 10 ثانیه بین درخواست های یک وب سایت فاصله داشته باشد. هر مقدار Crawl-Delay که بیش از 10 ثانیه اختصاص داده شود تا این حد کاهش می یابد.

مسدود کردن SemrushBot از وب سایت شما

User-agent: SemrushBotDisallow: /

SemrushBot برنامه ریزی شده است تا وب سایت را خیلی سریع خزید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زمانی و خطاهای سرور شود. SemrushBot همچنین بازدیدهای تبلیغاتی را فعال نمی کند یا به عنوان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.

اگر می خواهید از دسترسی سایر ابزارهای نرم افزار Semrush به وب سایت خود جلوگیری کنید، این راهنمای دیگر در مورد نحوه مسدود کردن SemrushBot را ببینید. این شامل فهرست کامل قوانینی است که می توانید آن ها را کپی و در فایل robots.txt وب سایت خود جای گذاری کنید تا مانع از خزیدن همه User-Agents در سایت شما شود.

SemrushBot یک ربات خوب در نظر گرفته می شود که برای اهداف بازاریابی استفاده می شود که از قوانین robots.txt و دستورالعمل های Crawl-Delay پیروی می کند. می توانید Semrush را به صورت رایگان با استفاده از پیوند وابسته من امتحان کنید تا تمام قابلیت های آن را برای بهینه سازی موتور جستجو، بازاریابی محتوا و کمپین های تبلیغاتی پرداخت به ازای کلیک (PPC) آزمایش کنید.

SemrushBot چگونه کار می کند؟

می توانید همه این ابزارها را بدون هیچ هزینه ای با استفاده از پیوند وابسته من در اینجا آزمایش کنید: Semrush را به صورت رایگان امتحان کنید.

کنترل SemrushBot در وب سایت شما

امیدوارم از این راهنما در SemrushBot لذت برده باشید.

نویسنده: تیم تحریریه سئو اقیانوس ها