هر آنچه باید درباره سربرگ HTTP تگ X-Robots بدانید


بهینه‌سازی موتورهای جستجو، در ابتدایی‌ترین مفهوم خود، بیش از همه به یک چیز متکی است: عنکبوت‌های موتورهای جستجو در حال خزیدن و نمایه‌سازی سایت شما هستند.

اما تقریباً هر وب سایتی صفحاتی دارد که شما نمی خواهید در این کاوش قرار دهید.

به عنوان مثال، آیا واقعاً می خواهید خط مشی رازداری یا صفحات جستجوی داخلی شما در نتایج Google نمایش داده شوند؟

در بهترین حالت، اینها هیچ کاری برای هدایت فعالانه ترافیک به سایت شما انجام نمی دهند و در بدترین حالت، می توانند ترافیک را از صفحات مهم تر منحرف کنند.

خوشبختانه، گوگل به مدیران وب‌سایت‌ها اجازه می‌دهد تا به ربات‌های موتور جستجو بگویند که چه صفحات و محتوایی را بخزند و چه مواردی را نادیده بگیرند. راه های مختلفی برای انجام این کار وجود دارد، رایج ترین آنها استفاده از فایل robots.txt یا تگ متا ربات است.

توضیحی عالی و مفصل در مورد نکات و نکات مربوط به robots.txt داریم که حتما مطالعه کنید.

اما در سطح بالا، این یک فایل متنی ساده است که در ریشه وب سایت شما زندگی می کند و از پروتکل حذف روبات ها (REP) پیروی می کند.

Robots.txt به خزنده‌ها دستورالعمل‌هایی درباره سایت به‌عنوان یک کل ارائه می‌کند، در حالی که برچسب‌های متا روبات‌ها شامل دستورالعمل‌هایی برای صفحات خاص هستند.

برخی از تگ‌های متا روبات‌هایی که ممکن است استفاده کنید شامل می‌شوند فهرست مطالب، که به موتورهای جستجو می گوید صفحه را به فهرست خود اضافه کنند. noindex، که به آن می گوید صفحه ای را به فهرست اضافه نکند یا آن را در نتایج جستجو قرار ندهد. دنبال کردن، که به موتور جستجو دستور می دهد پیوندهای موجود در یک صفحه را دنبال کند. nofollow، که به آن می گوید پیوندها را دنبال نکند، و کلی از موارد دیگر.

هر دو برچسب robots.txt و meta robots ابزارهای مفیدی برای نگهداری در جعبه ابزار شما هستند، اما راه دیگری نیز برای آموزش ربات های موتور جستجو به noindex یا nofollow وجود دارد: X-Robots-Tag.

تگ X-Robots چیست؟

X-Robots-Tag راه دیگری برای کنترل نحوه خزیدن و نمایه شدن صفحات وب شما توسط عنکبوت ها است. به عنوان بخشی از پاسخ هدر HTTP به یک URL، نمایه سازی کل صفحه و همچنین عناصر خاص در آن صفحه را کنترل می کند.

و در حالی که استفاده از تگ های متا روبات ها نسبتاً ساده است، X-Robots-Tag کمی پیچیده تر است.

اما این البته این سوال را ایجاد می کند:

چه زمانی باید از تگ X-Robots استفاده کنید؟

طبق گفته گوگل، “هر دستورالعملی که می تواند در متا تگ روبات ها استفاده شود، می تواند به عنوان X-Robots-Tag نیز مشخص شود.”

در حالی که می‌توانید دستورالعمل‌های مربوط به robots.txt را در سرفصل‌های یک پاسخ HTTP با تگ متا روبات و تگ X-Robots تنظیم کنید، موقعیت‌های خاصی وجود دارد که می‌خواهید از X-Robots-Tag استفاده کنید – دو رایج‌ترین آنها. بودن زمانی که:

  • شما می خواهید نحوه خزیدن و نمایه شدن فایل های غیر HTML خود را کنترل کنید.
  • شما می خواهید دستورالعمل ها را به جای اینکه در سطح صفحه ارائه کنید، در سراسر سایت ارائه دهید.

برای مثال، اگر می‌خواهید خزیدن یک تصویر یا ویدیوی خاص را مسدود کنید، روش پاسخ HTTP این کار را آسان می‌کند.

هدر X-Robots-Tag نیز مفید است زیرا به شما امکان می دهد چندین تگ را در یک پاسخ HTTP ترکیب کنید یا از یک لیست دستورالعمل های جدا شده با کاما برای تعیین دستورالعمل ها استفاده کنید.

شاید شما نمی خواهید صفحه خاصی ذخیره شود و می خواهید بعد از تاریخ خاصی در دسترس نباشد. می‌توانید از ترکیبی از تگ‌های «noarchive» و «unavailable_after» استفاده کنید تا به ربات‌های موتور جستجو دستور دهید این دستورالعمل‌ها را دنبال کنند.

اساسا، قدرت X-Robots-Tag این است که بسیار انعطاف پذیرتر از تگ متا روبات است.

مزیت استفاده از یک X-Robots-Tag با پاسخ‌های HTTP به شما امکان می‌دهد از عبارات منظم برای اجرای دستورالعمل‌های خزیدن در غیر HTML و همچنین اعمال پارامترها در سطح بزرگ‌تر و جهانی استفاده کنید.

برای کمک به درک تفاوت بین این دستورالعمل ها، دسته بندی آنها بر اساس نوع مفید است. یعنی دایرکتیوهای خزنده هستند یا دایرکتیوهای نمایه ساز؟

در اینجا یک برگه تقلب مفید برای توضیح وجود دارد:

دستورالعمل های خزنده دستورالعمل های نمایه ساز
Robots.txt – از دستورالعمل‌های عامل کاربر، اجازه، غیرمجاز و نقشه سایت استفاده می‌کند تا مشخص کند ربات‌های موتور جستجوی سایت در کجا مجاز به خزیدن هستند و مجاز به خزیدن نیستند. تگ متا روبات ها – به شما امکان می دهد موتورهای جستجو را مشخص کنید و از نمایش صفحات خاصی در یک سایت در نتایج جستجو جلوگیری کنید.

Nofollow – به شما امکان می دهد پیوندهایی را مشخص کنید که نباید به اعتبار یا PageRank منتقل شوند.

تگ X-Robots – به شما امکان می دهد نحوه نمایه سازی انواع فایل های مشخص شده را کنترل کنید.

برچسب X-Robots را کجا قرار می دهید؟

فرض کنید می خواهید انواع فایل های خاصی را مسدود کنید. یک رویکرد ایده آل اضافه کردن X-Robots-Tag به پیکربندی آپاچی یا فایل htaccess.

X-Robots-Tag را می توان از طریق فایل htaccess. به پاسخ های HTTP سایت در پیکربندی سرور آپاچی اضافه کرد.

مثال‌ها و کاربردهای واقعی X-Robots-Tag

بنابراین از نظر تئوری عالی به نظر می رسد، اما در دنیای واقعی چگونه به نظر می رسد؟ بیا یک نگاهی بیندازیم.

فرض کنید می‌خواستیم موتورهای جستجو انواع فایل‌های pdf را ایندکس نکنند. این پیکربندی در سرورهای آپاچی چیزی شبیه به شکل زیر است:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

در Nginx، به شکل زیر است:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

حالا بیایید به سناریوی متفاوتی نگاه کنیم. فرض کنید می خواهیم از X-Robots-Tag برای جلوگیری از نمایه شدن فایل های تصویری مانند jpg، .gif، .png و غیره استفاده کنیم. شما می توانید این کار را با یک X-Robots-Tag که شبیه زیر است انجام دهید:

<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>

لطفاً توجه داشته باشید که درک نحوه عملکرد این دستورالعمل ها و تأثیر آنها بر یکدیگر بسیار مهم است.

برای مثال، چه اتفاقی می‌افتد اگر هر دو تگ X-Robots-Tag و متا روبات‌ها زمانی که ربات‌های خزنده URL را کشف می‌کنند، قرار بگیرند؟

اگر آن URL از robots.txt مسدود شده باشد، دستورالعمل‌های نمایه‌سازی و سرویس‌دهی خاصی را نمی‌توان کشف کرد و دنبال نمی‌شوند.

اگر قرار است دستورالعمل‌ها دنبال شوند، URLهای حاوی آن‌ها را نمی‌توان از خزیدن منع کرد.

یک برچسب X-Robots را بررسی کنید

چند روش مختلف وجود دارد که می توان برای بررسی وجود X-Robots-Tag در سایت استفاده کرد.

ساده ترین راه برای بررسی، نصب یک افزونه مرورگر است که اطلاعات X-Robots-Tag را در مورد URL به شما می گوید.

بررسی کننده حذف ربات هااسکرین شات از Robots Exclusion Checker، دسامبر 2022

افزونه دیگری که می توانید برای تعیین اینکه آیا X-Robots-Tag در حال استفاده است یا خیر، استفاده کنید، افزونه Web Developer است.

با کلیک بر روی افزونه در مرورگر خود و رفتن به «مشاهده سرصفحه‌های پاسخ»، می‌توانید سرصفحه‌های مختلف HTTP را مشاهده کنید.

افزونه توسعه دهنده وب

روش دیگری که می توان برای مقیاس بندی به منظور مشخص کردن مشکلات در وب سایت هایی با یک میلیون صفحه استفاده کرد، Screaming Frog است.

پس از اجرای یک سایت از طریق Screaming Frog، می توانید به ستون “X-Robots-Tag” بروید.

این به شما نشان می دهد که کدام بخش از سایت از برچسب استفاده می کند، همراه با چه دستورالعمل های خاصی.

گزارش قورباغه جیغ.  X-Robot-Tagاسکرین شات گزارش Screaming Frog. X-Robot-Tag، دسامبر 2022

استفاده از X-Robots-Tags در سایت شما

درک و کنترل نحوه تعامل موتورهای جستجو با وب سایت شما سنگ بنای بهینه سازی موتورهای جستجو است. و X-Robots-Tag ابزار قدرتمندی است که می توانید برای انجام این کار از آن استفاده کنید.

فقط حواستان باشد: بدون خطر نیست. بسیار آسان است که اشتباه کنید و کل سایت خود را از فهرست خارج کنید.

گفته شد، اگر در حال خواندن این مقاله هستید، احتمالاً مبتدی در سئو نیستید. تا زمانی که عاقلانه از آن استفاده کنید، وقت بگذارید و کار خود را بررسی کنید، می‌بینید که X-Robots-Tag افزودنی مفید برای زرادخانه شماست.

منابع بیشتر:


تصویر ویژه: Song_about_summer/Shutterstock





منبع