یافتن کلمات هدفمند – نتایج کلمات کلیدی خود را بر اساس صنعت یا کشور فیلتر کنید تا بتوانید روی کلمات کلیدی که واقعاً برای شما مفید هستند تمرکز کنید. اما نتیجه ای که از این فرآیند بدست میآید میتواند تا مدت زمان طولانی و بدون صرف هزینه های تبلیغاتی، بازدید سایت را تضمین کند. در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند . همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . Allow از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره ! فایل روبات robots.txt در هر خط فقط ۱ دستور قرار میگیرد ، و اگر شما بخواهید ۱۰ دستور به فایل روبات بدهید باید در ۱۰ خط این دستورات را بنویسید. اگر فایل robots.txt حاوی دستورالعمل خاصی نباشد ، شروع به خزیدن در تمامی لینک ها و محتویات سایت میکنند.
برخی از ربات ها ممکن است فایل robots.txt شما را نادیده بگیرند . خزنده های موتورهای جستجو وقتی وارد یک وبسایت میشوند ، اولین موردی رو که بررسی میکنند فایل robots.txt است. فایل ربات برای هر سایتی و مدیریت محتوایی متفاوت است ، کپی کردن این فایل از سایت های دیگر ممکن است به ضرر کسب و کار آنلاین شما باشد. تعیین کلمات کلیدی مناسب فرآیندی حساس است که شامل آزمون و خطا می شود، اما درک اصول اولیه آن آسان است. سخت ترین و پیچیده ترین نوع سئو مربوط به فروشگاه های اینترنتی می شود ، مخصوصا اگر آن فروشگاه بزرگ و دارای محصولات زیادی باشد. لذا بهتر است با یک متخصص سئو در این زمینه مشورت یا از آن کمک بگیرید. پس ما در فایل روبات (robots.txt) سایتمان به خزنده ها مسیر محتوای سایتمان (لینک سایت مپ سایتمان) و اینکه قرار است چه صفحاتی را بررسی و ایندکس و چه صفحاتی را نادیده بگیرند مشخص میکنیم. در برخی شهرها، نقشه های گوگل، نماهای خیابانی بسیار دقیقی را ارائه میدهد که حتی شامل عکس های گرفته شده از وسایل نقلیه است.
آیا به دنبال یک وب سایت خاص است؟ بسیاری از مشکلات سئو سایت را میتوان با اضافه نمودن خط های مورد نیاز فایل روبات برطرف کرد.فایل ربات از جمله فایل های مهم در بهینه سازی سایت به شمار میرود. فایل /robots.txt بطور عمومی در دسترس میباشد فقط به پایان هردامنه علامت اسلش اضافه کنید این دستورالعمل از اینکه بخواید اطلاعات وبسایت خودتونو مخفی نگهدارید چیزی کم نمیکند. مثلا کیقیت محتوا یکی از این فاکتورهاست. علاوه بر سئو این ابزارها برای بازاریابی PPC نیز بسیار ارزشمند است. گوگل، بینگ، یاهو، معروف ترین موتورهای جستجو هستند که البته به دلیل استفاده حداکثری کاربران ایرانی از گوگل، تمرکز سئو سایت نیز روی ارتقا رتبه در این پلتفرم است. به طور حتم این برای ما مهم است که مشخص کنیم چه صفحاتی از سایت ما در موتورهای جستجو ایندکس شود و چه صفحاتی نیاز به ایندکس ندارد. میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها مجله خبری seobythesea و … برای سایت های پیاده سازی شده با جوملا ! برای سایت های وردپرسی ! میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه . در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم .
طبق تجربه گوگل وب سایت هایی که ویژگیهای فنی و وضعیت سئو تکنیکال بهتری دارند را ترجیح میدهد. باتوجه به اینکه بیشتر از 200 فاکتور برای رتبه بندی در گوگل وجود دارد و سایر موتورهای جستجو مثل یاهو و بینگ و اسک و یاندکس هم فاکتورها و معیارهای مخصوص خود را دارند بهترین راه ها مجموعه ای از عوامل و روش های کلاه سفید و طبیعی هستند که باید در کنار هم به صورت موازی اجرا شوند تا نتیجه مطلوبی حاصل شود. از طرفی باتوجه به توسعه شهرها، ترافیک و مدیریت زمان، افراد تمایل دارند به نزدیک ترین موقعیت مکانی مراجعه کنند. محتوا در افزایش بازدید و ترافیک ، ترغیب کاربران و جلب اعتماد گوگل نقش حیاتی دارد. دلیلی ندارد خرنده های گوگل این صفحه را بررسی و ایندکس کنند. این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه . خزنده های موتورهای جستجو بعد از وارد شدن به یک وبسایت ؛ ابتدا فایل robots.txt را جستجو میکنند ، اگر آن را پیدا کنند ، قبل از ادامه به کار بررسی محتوا ، فایل robots.txt را بصورت دقیق میخواند تا اجازه محدوده دسترسی خودش را بداند . Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه .