روش ها:
فهرست شدن:
موتورهای جستجوی پیشرو مانند گوگل، بینگ ،یاهو از خزنده‌ها (همانweb master یک برنامه‌ای رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد.)جهت پیدا کردن صفحات مرتبط با نتایج جستجوی الگوریتمیک خود استفاده می‌کنند. صفحاتی که از صفحات ایندکس شده یک موتور جستجو دیگر لینک می‌شوند، نیازی به ارسال ندارد زیرا بطور خودکار پیدا می‌شوند.
دو دایرکتوری عمده Yahoo Directory , نیازمند ارسال دستی و بازنگری انسانی هستند. شرکت گوگل Google Webmaster Tools را پیشنهاد می‌دهد که یک فید نقشه سا یت س‌ام‌ال می‌تواند برای آن ایجاد و بطور رایگان ارسال شود تا این اطمینان حاصل شود که تمامی صفحات خصوصا آنهایی که با دنبال کردن خودکار لینک‌ها قابل شناسایی نیستند، قابل دستیابی هستند. در گذشته یاهو! یک سرویس ارسال پرداختی داشت که خزش را به ازای مقداری هزینه در هر کلیک تضمین می‌کرد که در سال ۲۰۰۹، این سرویس متوقف شد
خزنده‌های موتور جستجو می‌توانند هنگام خزش یک وب سایت، به تعداد عوامل مختلفی توجه کنند. هر صفحه‌ای توسط موتور جستجو ایندکس نمی‌شود. فاصله صفحات از دایرکتوری اساسی ممکن است یک عامل در خزش یا عدم خزش در صفحات باشد.
جلوگیری از خزش:
به منظور جلوگیری از محتوای نامطلوب در ایندکس‌های جستجو، مدیران شبکه می‌توانند به عنکبوت‌ها دستور بدهند که فایل‌ها یا دایرکتوری‌های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، مورد بررسی و خزش قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتا از پایگاه‌داده‌ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ‌های مخصوص به ربات‌هاصورت می‌گیرد. هنگامی که یک موتور جستجو از یک سایت بازدید می‌کند فایل robots.txt واقع در دایرکتوری اصلی، نخستین جایی است که مورد خزش قرار می‌گیرد. سپس فایل robots.txt تجزیه شده و به ربات دستور داده می‌شود که کدام صفحات نباید مورد بررسی و خزش قرار می‌گیرد. از آنجایی که خزنده موتور جستجو ممکن است که یک نسخه از این فایل را نگه دارد گاهی ممکن است که صفحاتی مورد خزش قرار می‌گیرند که مدیر شبکه تمایلی به آنها ندارد. بطور معمول، صفحاتی که از خزش خارج می‌شوند عبارتند از صفحات ورودی خاص مانند صفحات مربوط به کارتهای خرید و صفحات مربوط به محتوای شخصی کاربر نظیر نتایج جستجوی حاصل از جستجوهای داخلی. در مارس ۲۰۰۷، گوگل به مدیران شبکه هشدار داد که باید از ایندکس شدن نتایج جستجوی داخلی جلوگیری کنند زیرا این صفحات، هرزنامه جستجو هستند.
افزایش برتری:
روش‌های گوناگونی می‌توانند برتری یک صفحه وب را در میان ننتایج جستجو افزایش دهند. لینک کردن متقابل صفحات یک وب سایت جهت فراهم نمودن لینک‌های بیشتر به صفحات مهمتر، می‌تواند شانس در دید بودن آن را افزایش دهد. نوشتن محتوایی که شامل کلمات کلیدی باشد، به نحوی که متن حاصل، به طیف گسترده‌ای از ورودی‌های جستجو مرتبط باشد، می‌تواند سبب افزایش ترافیک شود. به روز رسانی محتوا بمنظور خزش مکرر توسط موتورهای جستجو می‌تواند یک وزن اضافی به سایت بدهد. اضافه نمودن کلمات کلیدی مرتبط با فرا داده‌هایی که یک صفحه وب شامل تگ عنوان و فرا توضیح، می‌تواند منجر به بهبود رابطه لیست‌های جستجوی یک وب سایت و در نتیجه افزایش ترافیک شود. نرمالیزه کردن نشانی اینترنتی صفحات وب در دسترس نشانی‌های اینترنتی متعدد، با استفاده از عنصر لینک متعارف یا از طریق ریدایرکت‌های ۳۰۱، می‌تواند این اطمینان را فراهم آورد که لینک به نسخه‌های مختلف URL جهت محاسبه نمره محبوبیت لینک صفحه، مورد توجه و استفاده قرار می‌گیرد.
تکنیک های کلاه سیاه در مقابل تکنیک های کلاه سیاه:
تکنیک‌های SEO می‌توانند به دو گروه عمده طبقه‌بندی شوند: تکنیک‌هایی که موتورهای جستجو به عنوان بخشی از یک طراحی خوب توصیه می‌کنند، و تکنیک‌هایی که مورد تأیید موتورهای جستجو نیست. موتورهای جستجو تلاش می‌کنند که اثر دسته دوم را کاهش دهند هرز آگهی‌ها از آن جمله هستند. مفسران صنعتی و شاغلانی که از این تکنیک‌های SEO استفاده می‌کنند، آنها را به SEO کلاه سفید یا کلاه سیاه طبقه‌بندی کرده‌اند. تکنیک‌های کلاه سفید تمایل به تولید نتایجی دارند که مدت زمان زیادی برقرار هستند، در حالیکه تکنیک‌های کلاه سیاه پیش بینی می‌کنند که وب سایت‌های آنها در نهایت ممکن است بطور موقت یا دائم توقف گردد؛ هنگامی که موتورهای جستجو سر از کارشان درآورند. یک تکنیک SEO کلاه سفید تلقی می‌شود، اگر از دستور العمل‌های موجود جستجو پیروی کرده و فریبی در کارش نباشد. از آنجاییکه دستورالعمل‌های موتور جستجو به عنوان مجموعه‌ای از قوانین نوشته نشده است، این یک تمایز مهم و قابل توجه است.
تکنیک SEO کلاه سفید تنها درباره تبعیت از دستورالعمل‌ها نیست، اما در مورد حصول اطمینان از این امر است که محتوایی که یک موتور جستجو ایندکس کرده و سپس رتبه بندی می‌کند، مشابه همان محتوایی باشد که یک کاربر خواهد دید. مشاوره کلاه سفید در مجموع جهت ایجاد محتوا برای کاربران مورد استفاده قرار می‌گیرد، نه برای موتورهای جستجو. سپس، آن محتوا به جای تلاش جهت تحریک نمودن الگوریتم و فریب دادن آن از اهداف مورد نظر خود، به سادگی در دسترس عنکبوت‌ها قرار می‌گیرد. تکنیک‌های کلاه سفید در بسیاری جهات شبیه توسعه وب هستند که در دسترس بودن را ارتقا می‌دهد؛ هرچند که این دو یکسان نیستند.
تکنیک‌های SEO کلاه سیاه تلاش می‌کنند تا رتبه بندی را از طریق فریب از روش‌ها و راههایی که مورد تأیید موتور جستجو نیست، بهبود دهند. یک تکنیک کلاه سیاه از متن پنهان شده به عنوان متن رنگ آمیز شده مشابه با پس زمینه یک div نامرئی، یا بعنوان متنی در خارج از صفحه نمایش استفاده می‌کنند. تکنیک دیگر، تکنیکی موسوم به cloaking است که بسته به اینکه یک صفحه توسط بازدید کننده انسانی فراخوانی شود یا توسط یک موتور جستجو، صفحه متفاوتی را بدست می‌دهد.
دسته دیگری که گاهی مورد استفاده قرار می‌گیرد، SEO کلاه خاکستری است. این تکنیک بین کلاه سفید و سیاه است که از روش‌هایی استفاده می‌کند که از مجازات سایت جلوگیری می‌کند، اما با این وجود، بهترین محتوا را برای کاربر مهیا نکرده و ترجیحاً روی بهبود رتبه بندی‌های موتور جستجو تمرکز می‌کند.
موتورهای جستجو ممکن است سایت‌هایی را که از روش‌های کلاه سیاه استفاده می‌کنند را جریمه کنند، که این امر از طریق کاهش دادن رتبه آنها، یا حذف کردن لیست‌های آنها از databaseهای خود و یا همه موارد می‌تواند صورت گیرد. چنین مجازات‌هایی می‌توانند بطور خودکار توسط الگوریتم‌های موتور جستجو یا از طریق بازنگری دستی سایت صورت پذیرد. یک نمونه، حذف Ricoh Germany , BMW Germany از گوگل در فوریه ۲۰۰۶ به دلیل استفاده از شیوه‌های فریبنده بود. با این حال، هر دو کمپانی به سرعت عذرخواهی کرده و با اصلاح نمودن صفحات متخلف، به لیست گوگل بازگشتند.