انتشار: بهمن 28، 1401 بروزرسانی: 21 آذر 1404 AhrefsBot: چیست و چگونه کار می کند ارائه بهترین نکات سئو ...AhrefsBot همچنین برنامه ریزی شده است تا وب سایت را خیلی سریع خزید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زمانی و خطاهای سرور شود. همچنین هیچ اطلاعاتی در مورد وب سایت هایی که تجزیه و تحلیل می کند جمع آوری یا ذخیره نمی کند. همچنین AhrefsBot بازدیدهای تبلیغاتی را فعال نمی کند یا به عنوان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.بر اساس گزارش ترافیک ربات Imperva Incapsula، AhrefsBot یکی از فعال ترین عنکبوت های وب است که توسط شرکت های تجاری برای خزیدن وب سایت ها و بازیابی اطلاعات برای اهداف بازاریابی دیجیتال استفاده می شود. AhrefsBot به طور مداوم کار می کند تا به بازاریابان آنلاین بینش بهتری نسبت به الگوریتم های نمایه سازی و رتبه بندی موتورهای جستجو مانند گوگل، یاهو و بینگ بدهد تا بتوانند وب سایت ها و کمپین های SEO خود را بهتر بهینه کنند.کنترل AhrefsBot در وب سایت شماAhrefsBot یک ربات خوب برای اهداف بازاریابی است که از قوانین robots.txt و دستورالعمل های Crawl-Delay با User-Agent String پیروی می کند: Mozilla/5.0 (سازگار؛ AhrefsBot/7.0؛ +http://ahrefs.com/robot/) .AhrefsBot چگونه کار می کند؟در زیر، AhrefsBot چیست، چگونه کار می کند و راه هایی برای کنترل این خزنده وب در وب سایت خود با استفاده از دستورالعمل هایی که ربات از آنها تبعیت می کند، خواهید یافت.در حال حاضر بیش از 12 تریلیون پیوند در پایگاه داده وجود دارد که AhrefsBot در اینترنت خزیده است. این داده پیوند توسط بازاریابان دیجیتال و متخصصان بهینه سازی موتورهای جستجو (SEO) برای برنامه ریزی، اجرا و نظارت بر کمپین های بازاریابی آنلاین خود استفاده می شود.User-agent: AhrefsBotDisallow: /168.119.64.245168.119.64.246168.119.64.247168.119.64.248168.119.64.249168.119.64.250168.119.64.251168.119.64.252168.119.64.253168.119.64.254168.119.65.107168.119.65.108168.119.65.109168.119.65.110168.119.65.111168.119.65.112168.119.65.113168.119.65.114168.119.65.115168.119.65.116168.119.65.117168.119.65.118168.119.65.119168.119.65.120168.119.65.121168.119.65.122168.119.65.123168.119.65.124168.119.65.125168.119.65.126168.119.65.43168.119.65.44168.119.65.45168.119.65.46168.119.65.47168.119.65.48168.119.65.49168.119.65.50168.119.65.51168.119.65.52168.119.65.53168.119.65.54168.119.65.55168.119.65.56168.119.65.57168.119.65.58168.119.65.59168.119.65.60168.119.65.61168.119.65.62168.119.68.117168.119.68.118168.119.68.119168.119.68.120168.119.68.121168.119.68.122168.119.68.123168.119.68.124168.119.68.125168.119.68.126168.119.68.171168.119.68.172168.119.68.173168.119.68.174168.119.68.175168.119.68.176168.119.68.177168.119.68.178168.119.68.179168.119.68.180168.119.68.181168.119.68.182168.119.68.183168.119.68.184168.119.68.185168.119.68.186168.119.68.187168.119.68.188168.119.68.189168.119.68.190168.119.68.235168.119.68.236168.119.68.237168.119.68.238168.119.68.239168.119.68.240168.119.68.241168.119.68.242168.119.68.243168.119.68.244168.119.68.245168.119.68.246168.119.68.247168.119.68.248168.119.68.249168.119.68.250168.119.68.251168.119.68.252168.119.68.253168.119.68.254آدرس های IP AhrefsBot برای Cloudflare54.36.148.0/2454.36.149.0/24195.154.122.0/24195.154.123.0/24195.154.126.0/24195.154.127.0/2451.222.253.0/26آدرس های IP فردی AhrefsBotAhrefsBot یک خزنده وب است که پایگاه داده پیوند را برای مجموعه ابزار بازاریابی دیجیتال Ahrefs گردآوری و فهرست می کند. AhrefsBot وب را می خزد تا پایگاه داده پیوندها را با پیوندهای جدید پر کند و وضعیت پیوندهای موجود را بررسی می کند تا داده های به روز را برای کاربران Ahrefs فراهم کند.همانطور که متوجه شدید، AhrefsBot یک خزنده وب است که پایگاه داده پیوند را برای مجموعه ابزار بازاریابی دیجیتال Ahrefs کامپایل و نمایه می کند. AhrefsBot به طور مداوم با خزیدن در وب کار می کند تا پایگاه داده پیوند خود را با پیوندهای جدید پر کند و وضعیت پیوندهای موجود را برای یافتن URL های مرده بررسی می کند. این فرآیند داده های لحظه به لحظه را برای کاربران Ahrefs فراهم می کند. شما فرکانس خزیدن AhrefsBot وب سایت خود را تغییر می دهید و از دسترسی آن به سایت خود از طریق فایل robots.txt یا آدرس های IP جلوگیری می کنید.AhrefsBot با بازدید خودکار صفحات وب در دسترس عموم و دنبال کردن پیوندهای موجود در آن صفحات کار می کند. فرآیند خزیدن از پیوندی به پیوند دیگر، AhrefsBot را قادر می سازد تا URL های جدید و پیوندهای مرده را در اینترنت پیدا کند تا پایگاه داده خود را با داده های پیوند تازه نگه دارد.لطفا جاوا اسکریپت را فعال کنیدAhrefsBot چیست؟51.222.253.051.222.253.151.222.253.251.222.253.351.222.253.451.222.253.551.222.253.651.222.253.751.222.253.851.222.253.951.222.253.1051.222.253.1151.222.253.1251.222.253.1351.222.253.1451.222.253.1551.222.253.1651.222.253.1751.222.253.1851.222.253.1951.222.253.2051.222.253.2151.222.253.2251.222.253.2351.222.253.2451.222.253.2551.222.253.2651.222.253.2751.222.253.2851.222.253.2951.222.253.3051.222.253.3151.222.253.3251.222.253.3351.222.253.3451.222.253.3551.222.253.3651.222.253.3751.222.253.3851.222.253.3951.222.253.4051.222.253.4151.222.253.4251.222.253.4351.222.253.4451.222.253.4551.222.253.4651.222.253.4751.222.253.4851.222.253.4951.222.253.5051.222.253.5151.222.253.5251.222.253.5351.222.253.5451.222.253.5551.222.253.5651.222.253.5751.222.253.5851.222.253.5951.222.253.6051.222.253.6151.222.253.6251.222.253.63خلاصه AhrefsBotAhrefsBot از محدوده IP و IP های فردی استفاده می کند که می توانند در لیست سفید یا سیاه برای دسترسی خزنده وب سایت قرار گیرند که در زیر مشاهده خواهید کرد. اگر برای لیست سیاه این آدرس های IP برای وب سایت خود به کمک نیاز دارید، سپس این راهنمای مرتبط را در مورد نحوه مسدود کردن AhrefsBot با نمونه کدی که می توانید در فایل htaccess. ریشه وب سایت خود کپی و جایگذاری کنید، بررسی کنید.محدوده IP AhrefsBotAhrefsBot را می توان با افزودن نشانه گذاری زیر به فایل robots.txt از خزیدن وب سایت شما مسدود کرد:AhrefsBot هر 24 ساعت بیش از 6 میلیارد صفحه وب را می خزد و فهرست پیوندها را هر 15 تا 30 دقیقه به روز می کند. از یک فرآیند الگوریتمی برای تعیین بودجه خزیدن برای هر وب سایت استفاده می کند. بر اساس محدودیت نرخ خزیدن و تقاضایی که به وب سایت اختصاص می دهد، AhrefsBot تعداد متفاوتی از صفحات وب را در طول هر بازدید برای واکشی داده های پیوند می خزد.مقدار Crawl-Delay زمان بر حسب ثانیه است. به عنوان مثال، Crawl-Delay: 5.مسدود کردن AhrefsBot از وب سایت شمااستفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 مجذوب سئو شده است. هدف استفان به اشتراک گذاشتن بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو است تا به شما کمک کند ترافیک وب سایت بیشتری داشته باشید.منبع AhrefsBot همیشه به دستورالعمل Disallow احترام می گذارد که به عنکبوت دستور می دهد تا وب سایت را نخزد و AhrefsBot را از ذخیره داده های پیوند در مورد وب سایت در پایگاه داده خود جلوگیری می کند. آن را برای کاربران Ahrefs از دسترس خارج می کند. با این حال، اگر این یک تغییر جدید در فایل robots.txt شما باشد، AhrefsBot برای دریافت دستورالعمل Disallow به زمان نیاز دارد. پس از کشف، AhfefsBot دستورالعمل Disallow را در طول خزیدن برنامه ریزی شده بعدی رعایت می کند.اگر از Cloudflare استفاده می کنید، AhrefsBot ممکن است توسط فایروال Cloudflare مسدود شود. می توانید از محدوده های IP بالا یا آدرس های IP منفرد زیر استفاده کنید تا با افزودن آنها به لیست سفید دیوار آتش، محدودیت ها را برطرف کنید.توجه: اگر می خواهید از خزیدن آن ربات در وب سایت خود جلوگیری کنید، می توانید از این آموزش مرتبط در مورد نحوه مسدود کردن SemrushBot نیز دیدن کنید. یا این راهنمای مقدماتی را در SemrushBot بخوانید و توضیح دهد که چیست و چگونه کار می کند.لیست IP AhrefsBotاین راهنما AhrefsBot را توضیح می دهد.User-agent: AhrefsBotCrawl-Delay: [value]امیدوارم از این راهنما در AhrefsBot لذت برده باشید.فرکانس خزیدن AhrefsBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:AhrefsBot می تواند توسط فایل robots.txt وب سایت شما کنترل شود تا فرکانس بازدید خزنده از وب سایت شما را تغییر دهد و آن را به طور کامل از خزیدن پیوندها در دامنه شما مسدود کند.تغییر فرکانس خزیدن AhrefsBot
