Все просто, якщо пошукові системи не зможуть знайти ваш сайт і сторінки на ньому, то вони не зможуть ранжувати його. Через це ваш сайт ніколи не з'явиться в пошуковій видачі і нікому не стане відомий. Допоможіть пошуковим роботам знайти ваш сайт і проіндексувати всі сторінки на ньому. Для цього потрібно виконати кілька умов.
Додати сайт в пошукові системи.
Розберемо на прикладі Яндекса і Google. У цих пошукових систем є сервіси для вебмайстрів це - Інструменти для веб-майстрів і Яндекс.Вебмайстер. Необхідно зареєструватися в сервісах і додати туди свій сайт. Звичайно одного пошукові системи теж мають подібні сервіси. Я б рекомендував додати ваш сайт в максимальну кількість пошукачів, для СНД це:
Звичайно є ще актуальні пошуковики, якщо хочете додайте ваш сайт і туди.
Таким чином ви повідомите пошуковим системам про те що з'явився новий сайт який необхідно проіндексувати. Перша індексація вашого сайт може зайняти від декількох хвилин до декількох тижнів. Якщо сайт не індексується так швидко як вам потрібно, то швидше за все є проблеми з доступністю сайту. І далі ми обговоримо що може заважати роботам пошукових систем індексувати ваш сайт.
Зробити правильну структуру сайту.
Також структура сайту повинна бути впорядкована і зрозуміла. Можна використовувати вид логічною деревовидної структури. приклад:
Приклад логічною деревовидної структури сайту
Ось так правильно повинна бути оформлена навігація сайту
Приклад чистої структури URL:
- mysite.ru/Category1/Product1
- mysite.ru/Category1/Product2
- mysite.ru/Category2/Product3
На сайті не повинно бути так званих «битих посилань» які ведуть на неіснуючі сторінки віддають код 404. Такі посилання можуть привести до того що пошукової робот піде з вашого сайту, а відвідувач не знайде то чого хотів.
Якщо на вашому сайті більше 10 сторінок обов'язково встановити пошук на сайт. За допомогою його користувачі зможуть дуже швидко знайти необхідну їм інформацію.
В URL використовуйте ЧПУ, наприклад:
- правильно - site.ru/razdel/chto-takoe-chpu/
- неправильно - site.ru/category_id=2/?page_id=12/
Намагайтеся робити довжину URL максимально короткою і зрозумілою. Якщо в URL будуть присутні ключові слова то це допоможе роботам і користувачам зрозуміти що знаходиться на сторінці.
Не перевищуйте 4 рівень вкладеності сторінок, пошукові роботи дуже рідко індексують сторінки з глибиною вкладеності більше 4. Приклад:
- правильно - site.ru/razdel/chto-takoe-chpu/
- неправильно - site.ru/category/razdel/podrazdel/podpodrazdel/stranica/
На всіх сторінках сайту використовуйте навігаційні ланцюжки (хлібні крихти) це допоможе користувачам і пошуковим системам легко орієнтуватися на сайті. Деякі користувачі можуть видаляти частину URL, що б піднятися на розділ вище, зробіть доступними і робочими всі щаблі URL.
Така структура буде зрозуміла як відвідувачам так і роботам, що дасть вам ще один + в ранжируванні.
Зробити XML карту сайту і RSS канал.
XML карта сайту допоможе пошуковим системам знаходити всі сторінки вашого сайту і індексувати їх навіть якщо на сторінки не посилається. Якщо на вашому сайті багато унікальних картинок і ви хотіли б отримувати трафік на сторінки картинок то необхідно зробити XML карту картинок. XML sitemap повинен містити тільки робітники і канонічне посилання, заблоковані сторінки мета тегами і в файлі robots.txt не повинні бути присутніми в ньому. Він не повинен перевищувати 30Мб, що б пошукові системи могли коректно прочитати його. Якщо сторінок дуже багато, розбийте файл sitemap XML на кілька частин. Ось хороший сервіс генерації файлу sitemap XML.
Якщо у вас новинний або статейний, інформаційний сайт, то потрібно зробити RSS або Atom канал, він буде сповіщати пошукові системи про вихід нового контенту. Таким чином сторінки сайту будуть максимально швидко потрапляти в індекс пошукових систем. Відвідувачі також набагато швидше дізнаються про вихід нової статті або новини.
Налаштувати віддачу last-modified.
Віддача сервером відповіді last-modified, повідомить пошуковим системам про те що сторінка була змінена після останньої індексації цієї сторінки. Якщо контент на сторінках сайту змінюється часто, потрібно налаштувати віддачу даного коду, що б в індексі завжди були оновлені сторінки сайту. Це додасть актуальності сайту.
Впровадити мікро-розмітку.
Мікро-розмітка (схема розмітки) використовується пошуковими системами для упорядкування контенту на сторінках сайту. Така розмітка сприяє індексації сторінок так як пошукові роботи точно знають який контент розмічений і структурований даної розміткою. Так само мікро-розмітка допомагає виділити сніпет вашого сайту в пошуковій видачі. Що підвищує кількість кліків з пошукової видачі саме по вашому сайту.
Створити і протестувати мікро-розмітку на вашому сайті допоможе майстер розмітки структурованих даних від Google. Цим інструментом ви легко можете впровадити мікро-розмітку на сайт.
Майстер розмітки структурованих даних
Перевірити файл robots.txt і мета теги
У деяких вебмайстрів взагалі не індексуються сайт цілком або частину і що б ви не робили, роботи не індексують сайт. Причиною всьому може бути файл robots.txt. Можливо в ньому допущена помилка або він зроблений не правильно. Перевірте файл robots.txt на наявність в ньому помилок (наприклад, рядок Disallow: / закриває сайт від індексації цілком або Disallow: / news / закриває до індексації розділ новин.) Або закритих важливих директорій. Якщо закрита директорія яка повинна бути проіндексована, то відкрийте її. Приклад правильного файлу robots.txt на цьому сайті. До речі цей файл підійде для всіх сайтів на WordPress, можете використовувати його на своїх сайтах. Можна скористатися генераторами в вебмайстрів гулу і яндекса.
Ще сайт може не індексуватися через мета тега для google і
Створити інформативну сторінку 404
Такими методами ви допоможете пошуковим системам знайти ваш сайт, проіндексувати його, структурувати і ранжувати в пошуковій видачі. Якщо зробити все правильно, то пошуковики полюблять ваш сайт, будуть постійно індексувати його, актуалізувати інформацію про нього, а користувачі отримають максимально корисну та актуальну інформацію. Ці способи підійдуть до будь-яких сайтів як інформаційним так і комерційним.