در زیر، سه روش برای مسدود کردن AhrefsBot با استفاده از فایل robots.txt، قوانین .htaccess و فایروال Cloudflare خواهید یافت. هر یک از این گزینه ها از دسترسی AhrefsBot به یک وب سایت برای خزیدن داده های پیوند آن جلوگیری می کند و آن را برای کاربران Ahrefs که در تلاش برای تجزیه و تحلیل دامنه برای بهینه سازی موتورهای جستجو (SEO) و کمپین های بازاریابی دیجیتال هستند، غیر قابل دسترس می کند.
امیدوارم از این راهنمای نحوه مسدود کردن AhrefsBot لذت برده باشید.
همانطور که متوجه شدید، سه راه برای جلوگیری از خزیدن AhrefsBot در یک وب سایت وجود دارد: استفاده از فایل .robots.txt، قوانین htaccess. و فایروال Cloudflare. هر یک از این گزینه ها از دسترسی AhrefsBot به یک وب سایت برای خزیدن داده های پیوند آن جلوگیری می کند و آن را برای کاربران Ahrefs که در تلاش برای تجزیه و تحلیل دامنه برای کمپین های بازاریابی دیجیتال و SEO هستند، غیر قابل دسترس می کند.
AhrefsBot را می توان با استفاده از قانون انکار IP در فایل htaccess ریشه وب سایت مسدود کرد. AhrefsBot از هر دو آدرس IP مجزا و محدوده IP استفاده می کند، بنابراین برای جلوگیری از خزیدن ربات در وب سایت، باید همه آنها را رد کنید.
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 شیفته سئو شده است. هدف استفان این است که بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو را به اشتراک بگذارد تا بتوانید ترافیک بیشتری را برای وب سایت خود به دست آورید.
اگر می خواهید در مورد اینکه ربات Ahrefs چیست و چگونه کار می کند بیشتر بدانید، این صفحه مرتبط را در AhrefsBot ببینید.
این راهنما نحوه مسدود کردن AhrefsBot را از خزیدن یک وب سایت توضیح می دهد.
Order Allow,Deny
Deny from 54.36.148.0/24
Deny from 54.36.149.0/24
Deny from 195.154.122.0/24
Deny from 195.154.123.0/24
Deny from 195.154.126.0/24
Deny from 195.154.127.0/24
Deny from 51.222.253.0/26
Deny from 168.119.64.245
Deny from 168.119.64.246
Deny from 168.119.64.247
Deny from 168.119.64.248
Deny from 168.119.64.249
Deny from 168.119.64.250
Deny from 168.119.64.251
Deny from 168.119.64.252
Deny from 168.119.64.253
Deny from 168.119.64.254
Deny from 168.119.65.107
Deny from 168.119.65.108
Deny from 168.119.65.109
Deny from 168.119.65.110
Deny from 168.119.65.111
Deny from 168.119.65.112
Deny from 168.119.65.113
Deny from 168.119.65.114
Deny from 168.119.65.115
Deny from 168.119.65.116
Deny from 168.119.65.117
Deny from 168.119.65.118
Deny from 168.119.65.119
Deny from 168.119.65.120
Deny from 168.119.65.121
Deny from 168.119.65.122
Deny from 168.119.65.123
Deny from 168.119.65.124
Deny from 168.119.65.125
Deny from 168.119.65.126
Deny from 168.119.65.43
Deny from 168.119.65.44
Deny from 168.119.65.45
Deny from 168.119.65.46
Deny from 168.119.65.47
Deny from 168.119.65.48
Deny from 168.119.65.49
Deny from 168.119.65.50
Deny from 168.119.65.51
Deny from 168.119.65.52
Deny from 168.119.65.53
Deny from 168.119.65.54
Deny from 168.119.65.55
Deny from 168.119.65.56
Deny from 168.119.65.57
Deny from 168.119.65.58
Deny from 168.119.65.59
Deny from 168.119.65.60
Deny from 168.119.65.61
Deny from 168.119.65.62
Deny from 168.119.68.117
Deny from 168.119.68.118
Deny from 168.119.68.119
Deny from 168.119.68.120
Deny from 168.119.68.121
Deny from 168.119.68.122
Deny from 168.119.68.123
Deny from 168.119.68.124
Deny from 168.119.68.125
Deny from 168.119.68.126
Deny from 168.119.68.171
Deny from 168.119.68.172
Deny from 168.119.68.173
Deny from 168.119.68.174
Deny from 168.119.68.175
Deny from 168.119.68.176
Deny from 168.119.68.177
Deny from 168.119.68.178
Deny from 168.119.68.179
Deny from 168.119.68.180
Deny from 168.119.68.181
Deny from 168.119.68.182
Deny from 168.119.68.183
Deny from 168.119.68.184
Deny from 168.119.68.185
Deny from 168.119.68.186
Deny from 168.119.68.187
Deny from 168.119.68.188
Deny from 168.119.68.189
Deny from 168.119.68.190
Deny from 168.119.68.235
Deny from 168.119.68.236
Deny from 168.119.68.237
Deny from 168.119.68.238
Deny from 168.119.68.239
Deny from 168.119.68.240
Deny from 168.119.68.241
Deny from 168.119.68.242
Deny from 168.119.68.243
Deny from 168.119.68.244
Deny from 168.119.68.245
Deny from 168.119.68.246
Deny from 168.119.68.247
Deny from 168.119.68.248
Deny from 168.119.68.249
Deny from 168.119.68.250
Deny from 168.119.68.251
Deny from 168.119.68.252
Deny from 168.119.68.253
Deny from Deny from 168.119.68.254
Allow from all
3. با Cloudflare مسدود کنید
لطفا جاوا اسکریپت را فعال کنید
چگونه AhrefsBot را مسدود کنیم
1. از قانون مسدود کردن robots.txt استفاده کنید
AhrefsBot را می توان با افزودن قانون زیر به فایل robots.txt از بازدید از وب سایت شما مسدود کرد:
توجه: AhrefsBot همیشه به دستورالعمل Disallow احترام می گذارد که به عنکبوت دستور می دهد تا وب سایت را نخزد و AhrefsBot را از ذخیره داده های پیوند مربوط به سایت در پایگاه داده خود مسدود می کند. با این حال، اگر این یک تغییر جدید در فایل robots.txt شما باشد، AhrefsBot برای دریافت دستورالعمل Disallow به زمان نیاز دارد. پس از کشف، AhfefsBot دستورالعمل Disallow را در طول خزیدن برنامه ریزی شده بعدی رعایت می کند.
2. از قانون مسدود کردن .htaccess استفاده کنید
اگر از Cloudflare استفاده میکنید، میتوانید آدرسهای IP جداگانه زیر را به لیست بلوک فایروال اضافه کنید تا از خزیدن AhrefsBot در وبسایت جلوگیری کنید.