در ویدیوی اخیر در یوتیوب، مارتین اسپلیت از گوگل تفاوتهای بین تگ noindex در متا تگهای ربات و دستور غیرفعال در فایلهای robots.txt را توضیح داد.
Splitt، یک مدافع توسعهدهنده در گوگل، اشاره کرد که هر دو روش به مدیریت نحوه کار خزندههای موتور جستجو با یک وبسایت کمک میکنند.
با این حال، آنها اهداف متفاوتی دارند و نباید به جای یکدیگر استفاده شوند.
زمان استفاده از Noindex
دستورالعمل “noindex” به موتورهای جستجو می گوید که صفحه خاصی را در نتایج جستجوی خود قرار ندهند. شما می توانید این دستورالعمل را در بخش HTML head با استفاده از متا تگ robots یا هدر X-Robots HTTP اضافه کنید.
زمانی که میخواهید صفحهای در نتایج جستجو نمایش داده نشود، اما همچنان به موتورهای جستجو اجازه میدهید محتوای صفحه را بخوانند، از «noindex» استفاده کنید. این برای صفحاتی که کاربران میتوانند ببینند اما نمیخواهید موتورهای جستجو نمایش دهند، مانند صفحات تشکر یا صفحات نتایج جستجوی داخلی، مفید است.
زمان استفاده از Disallow
دستورالعمل “عدم اجازه” در فایل robots.txt یک وب سایت، خزنده های موتورهای جستجو را از دسترسی به URL ها یا الگوهای خاص متوقف می کند. وقتی صفحه ای غیرمجاز است، موتورهای جستجو محتوای آن را نمی خزند یا فهرست نمی کنند.
Splitt توصیه می کند زمانی که می خواهید موتورهای جستجو را به طور کامل از بازیابی یا پردازش یک صفحه مسدود کنید، از «عدم اجازه» استفاده کنید. این برای اطلاعات حساس، مانند دادههای کاربر خصوصی، یا برای صفحاتی که به موتورهای جستجو مرتبط نیستند، مناسب است.
مرتبط: نحوه استفاده از robots.txt را بیاموزید
اشتباهات رایجی که باید از آنها اجتناب کنید
یکی از اشتباهات رایج صاحبان وب سایت استفاده از “noindex” و “disallow” برای یک صفحه است. Splitt توصیه می کند که از این کار خودداری کنید زیرا می تواند مشکلاتی ایجاد کند.
اگر صفحه ای در فایل robots.txt مجاز نباشد، موتورهای جستجو نمی توانند دستور “noindex” را در متا تگ صفحه یا سربرگ X-Robots ببینند. در نتیجه، ممکن است صفحه همچنان نمایه شود، اما با اطلاعات محدود.
برای جلوگیری از ظاهر شدن یک صفحه در نتایج جستجو، Splitt توصیه میکند از دستور “noindex” بدون غیرمجاز کردن صفحه در فایل robots.txt استفاده کنید.
Google گزارش robots.txt را در کنسول جستجوی Google ارائه میکند تا نحوه تأثیر فایلهای robots.txt بر نمایهسازی موتور جستجو را بررسی و نظارت کند.
مرتبط: 8 مشکل رایج Robots.txt و نحوه رفع آنها
چرا این مهم است
درک استفاده صحیح از دستورالعمل های “noindex” و “disallow” برای متخصصان سئو ضروری است.
پیروی از توصیههای Google و استفاده از ابزارهای آزمایشی موجود به شما کمک میکند تا مطمئن شوید که محتوای شما همانطور که در نظر گرفته شده در نتایج جستجو ظاهر میشود.
ویدیوی کامل را در زیر ببینید:
تصویر ویژه: آسیر رومرو/Shutterstock