از اواسط دهه ۱۹۹۰ میلادی که نخستین موتورهای جستجو اقدام به فهرست کردن وب نخستین کردند، مدیران وب‌سایت‌ها و تولیدکنندگان محتوا، شروع به بهینه‌سازی وب‌سایت‌ها برای موتورهای جستجو نمودند. در ابتدا تمام‌کارهایی که مدیران وب‌سایت‌ها باید انجام می‌دادند، ارسال آدرس صفحه به موتورهای مختلفی که یک «عنکبوت» جهت «خزش» آن …