استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 مجذوب سئو شده است. هدف استفان به اشتراک گذاشتن بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو است تا به شما کمک کند ترافیک وب سایت بیشتری داشته باشید.
این ربات‌های اینترنتی علاوه بر انجام یک خزیدن اولیه سایت که صفحات را فهرست‌بندی می‌کند، گاهی اوقات صفحات را برای بررسی به‌روزرسانی‌ها نیز بازبینی می‌کنند. خزنده های موتورهای جستجو برای خزیدن هر صفحه در اینترنت برنامه ریزی نشده اند. با این حال، تعداد لینک‌هایی که به یک صفحه منتهی می‌شوند، میزان ترافیکی که یک صفحه دریافت می‌کند، تعداد دفعات تغییر محتوا و عوامل بی‌شماری دیگر، فرکانس خزیدن و بودجه هر وب‌سایت را تعیین می‌کند.
صاحبان وب سایت حق دارند با تنظیم قوانین در فایل robot.txt دامنه، از دسترسی خزنده به صفحات و دایرکتوری های خاص خودداری کنند.
برای یافتن اصطلاحات و تعاریف بیشتر مرتبط با زمینه بهینه سازی موتورهای جستجو، به واژه نامه SEO مراجعه کنید.
خزنده موتور جستجو یک ربات اینترنتی است که به طور سیستماتیک وب جهانی را به منظور ایجاد فهرستی از داده ها مرور می کند. همچنین به عنوان خزنده وب یا عنکبوت موتور جستجو شناخته می شود.
خزنده های موتورهای جستجو محتوای یک صفحه وب را تجزیه و تحلیل می کنند تا بتوانند آن اطلاعات را در فهرست جستجو ذخیره کنند تا در صورت لزوم آن را بازیابی کنند. خزنده‌های موتورهای جستجو برای کشف اسناد جدید در وب، لینک‌ها را می‌خزند.