User-agent: SemrushBot-CT
Disallow: /
7. SplitSignalBot را مسدود کنید
امیدوارم از این راهنمای نحوه مسدود کردن SemrushBot لذت برده باشید.
User-agent: SemrushBot-SI
Disallow: /
5. SemrushBot-SWA را مسدود کنید
بنابراین، باید هر User-Agent را به صورت جداگانه مسدود کنید (همانطور که در این راهنما توضیح داده شده است) تا دسترسی به وب سایت را برای کاربران Semrush که سعی در تجزیه و تحلیل دامنه برای کمپین های بازاریابی دیجیتال و سئو دارند از دسترس خارج کنید.
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 شیفته سئو شده است. هدف استفان این است که بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو را به اشتراک بگذارد تا بتوانید ترافیک بیشتری را برای وب سایت خود به دست آورید.
منبع
User-agent: SemrushBot-BA
Disallow: /
4. SemrushBot-SI را مسدود کنید
در پایان این صفحه، میدانید که چگونه دادههای وبسایت خود را برای کاربران Semrush که سعی در تجزیه و تحلیل دامنه برای بهینهسازی موتورهای جستجو (SEO) و کمپینهای بازاریابی دیجیتال دارند، غیرقابل دسترس کنید.
User-agent: SemrushBot-COUB
Disallow: /
مسدود کردن همه عوامل کاربر SemrushBot
ممکن است بین یک ساعت تا 100 درخواست SemrushBots طول بکشد تا تغییرات ایجاد شده در فایل robots.txt شما را کشف کند و این دستورالعمل ها را برای خزیدن در وب سایت رعایت کند. اگر می خواهید تأیید کنید که SemrushBot از قوانین شما پیروی می کند، می توانید Semrush را به صورت رایگان امتحان کنید و خودتان ابزارهای مختلف را آزمایش کنید تا ببینید آیا آنها کار می کنند یا خیر.
مسدود کردن خلاصه SemrushBot
این قانون مانع از خزیدن SemrushBot به وب سایت شما برای ممیزی SEO و مسائل فنی می شود:
User-agent: SemrushBot
Disallow: /
User-agent: SiteAuditBot
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SplitSignalBot
Disallow: /
User-agent: SemrushBot-COUB
Disallow: /
User-agent: SiteAuditBot
Disallow: /
3. SemrushBot-BA را مسدود کنید
در زیر، این آموزش به دو بخش تقسیم شده است: بخش اول شامل مراحل مسدود کردن هر SemrushBot User-Agent است که توسط نرم افزار Semrush برای خزیدن محتوای وب سایت و داده های پیوند استفاده می شود و بخش دوم شامل مجموعه کامل قوانین است. می توانید برای جلوگیری از دسترسی همه ربات های Semrush به سایت شما، فایل robots.txt را کپی و جایگذاری کنید.
User-agent: SemrushBot-SWA
Disallow: /
6. SemrushBot-CT را مسدود کنید
این دستورالعمل robots.txt می تواند برای مسدود کردن SemrushBot از دسترسی به وب سایت شما برای ابزار Content Outline Builder استفاده شود:
این دستورالعمل SemrushBot را از خزیدن وب سایت شما با ابزارهای Content Analyzer و Post Tracking جلوگیری می کند:
این قانون robots.txt مانع از بررسی SemrushBot می شود که صفحات وب را برای تجزیه و تحلیل با ابزار SEO Writing Assistant بررسی کند:
اگر می خواهید هر SemrushBot User-Agent را از وب سایت خود مسدود کنید، می توانید کد زیر را کپی کرده و در فایل robots.txt وب سایت قرار دهید:
User-agent: SemrushBot
Disallow: /
2. SemrushAuditBot را مسدود کنید
User-agent: SplitSignalBot
Disallow: /
8. SemrushBot-COUB را مسدود کنید
توجه: اگر می خواهید در مورد اینکه SemrushBot چیست و چگونه کار می کند بیشتر بدانید، این صفحه مرتبط را در SemrushBot ببینید. همچنین میتوانید Semrush را به صورت رایگان با استفاده از پیوند وابسته من امتحان کنید تا تمام قابلیتهای آن را برای کمپینهای سئوی خود آزمایش کنید و تأیید کنید که قوانین مسدودسازی که تنظیم کردهاید به درستی برای وبسایت شما کار میکنند.
نحوه بلاک کردن SemrushBot
همانطور که متوجه شدید، SemrushBot را می توان با به روز رسانی فایل robots.txt برای غیر مجاز کردن User-Agent مسدود کرد. پس از مسدود کردن عامل اصلی SemrushBot کاربر، عنکبوت نمی تواند وب سایت را برای ثبت داده ها برای نمودار وب پیوندها بخزد. با این حال، Semrush چندین User-Agent برای هر ربات دارد که داده های وب سایت را برای مجموعه ابزار خود جمع آوری می کند.
این قانون مانع از خزیدن Semrush SplitSignalBot در وب سایت شما برای ابزار SplitSignal می شود که برای انجام تست های A/B برای بازاریابی دیجیتال استفاده می شود:
توجه: AhrefsBot را نیز می توان با استفاده از دستور Disallow در فایل robots.txt مسدود کرد. اگر می خواهید از خزیدن آن ربات در وب سایت خود جلوگیری کنید، این راهنمای مرتبط را در مورد نحوه مسدود کردن AhrefsBot ببینید.
جزئیات درباره مسدود کردن تاخیرها
این راهنما نحوه جلوگیری از خزیدن SemrushBot در یک وب سایت را توضیح می دهد.
این دستورالعمل مانع از دسترسی SemrushBot به وب سایت شما با ابزار On Page SEO Checker می شود:
قانون زیر را به فایل robots.txt اضافه کنید تا SemrushBot اصلی را که یک نمودار وب از پیوندهایی برای سایتی که در ابزار Backlink Analytics گزارش میشوند میسازد، مسدود کنید:
SemrushBot را می توان با به روز رسانی فایل robots.txt به غیر مجاز کردن User-Agent مسدود کرد. پس از مسدود کردن SemrushBot User-Agent، عنکبوت نمی تواند وب سایت را بخزد.
1. Main SemrushBot را مسدود کنید
این قانون robots.txt مانع از خزیدن SemrushBot در وب سایت شما با ابزار Backlink Audit می شود: