همانطور که متوجه شدید، SemrushBot یک خزنده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند که برای ارائه اطلاعات به روز برای فهرست بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود. شما می توانید با تغییر فرکانس یا جلوگیری از دسترسی عوامل مختلف کاربر به سایت شما از طریق فایل robots.txt، نحوه خزیدن SemrushBot در سایت شما را کنترل کنید.
داده های جمع آوری شده توسط SemrushBot برای تامین قدرت ابزارهای زیر در نرم افزار Semrush استفاده می شود:
تجزیه و تحلیل بک لینک
حسابرسی بک لینک
لینک بیلدینگ
ممیزی سایت
تحلیلگر محتوا
دستیار نگارش SEO
ردیابی پست
جستجوگر سئوی صفحه
قالب محتوای سئو
طرح کلی محتوا
تحقیق موضوعی
SplitSignal
در زیر، قانون نمونه‌ای است که می‌توانید به فایل robots.txt خود اضافه کنید تا از خزیدن SemrushBot در سایت شما برای ساختن نمودار وب لینک‌هایی که در ابزار Backlink Analytics گزارش می‌شوند، جلوگیری کند:
مقدار Crawl-Delay زمان بر حسب ثانیه است. به عنوان مثال، Crawl-Delay: 5.
User-agent: SemrushBot
Crawl-Delay: [value]
اگر می‌خواهید از خزیدن آن ربات در وب‌سایت خود جلوگیری کنید، می‌توانید از این آموزش مرتبط در مورد نحوه مسدود کردن AhrefsBot نیز دیدن کنید. یا این راهنمای مقدماتی را در AhrefsBot بخوانید تا بدانید چگونه کار می کند.
توجه: بین یک ساعت تا 100 درخواست برای SemrushBot طول می کشد تا تغییرات ایجاد شده در فایل robots.txt شما را کشف کند و این دستورالعمل ها را برای خزیدن در وب سایت رعایت کند. اگر می خواهید تأیید کنید که SemrushBot از قوانین شما پیروی می کند، می توانید Semrush را به صورت رایگان امتحان کنید و خودتان ابزارهای مختلف را آزمایش کنید تا ببینید آیا آنها کار می کنند یا خیر.
خلاصه SemrushBot
SemrushBot فقط با افزودن قوانین خاص به فایل robots.txt می تواند از خزیدن وب سایت شما جلوگیری کند. شما نمی توانید از دسترسی SemrushBot به وب سایت خود از طریق آدرس های IP جلوگیری کنید زیرا از بلوک های IP متوالی استفاده نمی کند.
فرکانس خزیدن SemrushBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:
بر اساس گزارش ترافیک ربات Imperva Incapsula، SemrushBot یکی از فعال ترین عنکبوت های وب است که توسط شرکت های تجاری برای خزیدن وب سایت ها و بازیابی اطلاعات برای اهداف بازاریابی دیجیتال استفاده می شود. SemrushBot به طور مداوم برای خزیدن در وب کار می کند تا به بازاریابان آنلاین بینش بهتری نسبت به عواملی که بر الگوریتم های فهرست بندی و رتبه بندی موتورهای جستجو تأثیر می گذارند ارائه دهد تا کاربران بتوانند وب سایت ها و کمپین های SEO خود را بهتر بهینه کنند.
ابزارهای ارائه شده توسط SemrushBot
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 شیفته سئو شده است. هدف استفان این است که بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو را به اشتراک بگذارد تا بتوانید ترافیک بیشتری را برای وب سایت خود به دست آورید.
فرآیند خزیدن برای SemrushBot با خزیدن ربات در یک وب سایت و ایجاد لیستی از لینک ها در هر صفحه وب برای استفاده برای خزیدن بیشتر شروع می شود. Semrush به این لیست به عنوان “مرز خزیدن” اشاره می کند، که به طور مکرر توسط SemrushBot برای کشف صفحات وب جدید، لینک های مرده و به روز رسانی محتوا بازدید می شود.
SemrushBot یک خزنده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند. داده های جمع آوری شده توسط SemrushBot برای ارائه اطلاعات به روز برای نمایه بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود.
در زیر، SemrushBot چیست، چگونه کار می‌کند و راه‌های کنترل این خزنده وب در وب‌سایت خود با استفاده از دستورالعمل‌هایی که ربات از آنها تبعیت می‌کند، خواهید یافت.
SemrushBot چیست؟
همچنین Semrush از User-Agent های مختلف برای ابزارهای مختلف در نرم افزار خود استفاده می کند. بنابراین، می‌توانید خزنده‌های SemrushBot خاصی را انتخاب کنید که می‌خواهید از دسترسی به دامنه خود جلوگیری کنید یا با اضافه کردن قانون Disallow به هر User-Agent در فایل robots.txt، همه آنها را حذف کنید.
SemrushBot با بازدید خودکار از صفحات وب در دسترس عموم برای کشف و جمع آوری داده های وب جدید و به روز شده کار می کند. فرآیند خزیدن صفحات وب، SemrushBot را قادر می سازد تا URL های جدید و پیوندهای مرده را در اینترنت پیدا کند تا پایگاه داده خود را با داده های پیوند تازه نگه دارد.
بر اساس محدودیت نرخ خزیدن و تقاضایی که به وب‌سایت اختصاص می‌دهد، SemrushBot تعداد متفاوتی از صفحات وب را در بازه‌های زمانی تعیین‌شده در طول هر بازدید می‌خزد تا داده‌های پیوند را با توجه به بار سرور فعلی دریافت کند. می توان به خزنده SemrushBot دستور داد که بین درخواست های یک وب سایت تا 10 ثانیه فواصل داشته باشد. مقادیر بالاتر به این حد 10 ثانیه کاهش می یابد.
SemrushBot می تواند توسط فایل robots.txt وب سایت شما کنترل شود تا فرکانس بازدید خزنده از وب سایت شما را تغییر دهد، از دسترسی ابزارهای Semrush خاص به داده های وب سایت شما جلوگیری کند، یا ربات را به طور کامل از خزیدن دامنه شما مسدود کند.
تغییر فرکانس Crawl SemrushBot
توجه: SemrushBot فقط می‌تواند تا 10 ثانیه بین درخواست‌های یک وب‌سایت فاصله داشته باشد. هر مقدار Crawl-Delay که بیش از 10 ثانیه اختصاص داده شود تا این حد کاهش می یابد.
مسدود کردن SemrushBot از وب سایت شما
User-agent: SemrushBot
Disallow: /
SemrushBot برنامه ریزی شده است تا وب سایت را خیلی سریع خزید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زمانی و خطاهای سرور شود. SemrushBot همچنین بازدیدهای تبلیغاتی را فعال نمی کند یا به عنوان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.
اگر می خواهید از دسترسی سایر ابزارهای نرم افزار Semrush به وب سایت خود جلوگیری کنید، این راهنمای دیگر در مورد نحوه مسدود کردن SemrushBot را ببینید. این شامل فهرست کامل قوانینی است که می‌توانید آنها را کپی و در فایل robots.txt وب‌سایت خود جای‌گذاری کنید تا مانع از خزیدن همه User-Agents در سایت شما شود.
SemrushBot یک ربات خوب در نظر گرفته می شود که برای اهداف بازاریابی استفاده می شود که از قوانین robots.txt و دستورالعمل های Crawl-Delay پیروی می کند. می‌توانید Semrush را به صورت رایگان با استفاده از پیوند وابسته من امتحان کنید تا تمام قابلیت‌های آن را برای بهینه‌سازی موتور جستجو، بازاریابی محتوا و کمپین‌های تبلیغاتی پرداخت به ازای کلیک (PPC) آزمایش کنید.
SemrushBot چگونه کار می کند؟
می‌توانید همه این ابزارها را بدون هیچ هزینه‌ای با استفاده از پیوند وابسته من در اینجا آزمایش کنید: Semrush را به صورت رایگان امتحان کنید.
کنترل SemrushBot در وب سایت شما
امیدوارم از این راهنما در SemrushBot لذت برده باشید.
