Яндекс і Google по-різному вирішують питання індексації, тому ми і розглянемо їх окремо.
Швидка індексація сторінок сайту в Google
Для цього сайт повинен бути доданий в панель вебмастера Google. Заходимо в розділ Сканування -> Подивитись як Googlebot, вводимо потрібний url (частина без назви сайту) і натискаємо кнопку «Сканувати». Вибираємо сканувати нам тільки даний url або пов'язані з ним також. Можна також покликати робота для мобільних пристроїв. Далі натискаємо кнопку «Додати в індекс», після чого з'явиться напис «URL відправлений на індексування».
Індексація сторінок сайту в Яндекс
З пошуковою системою Яндекс ситуація набагато складніше, тому що таких інструментів прискорення сканування окремого url тут немає. Офіційна позиція Яндекса щодо прискорення індексації стосується тільки внутрішньої технічно грамотною налаштування сайту:
- Виняток з індексування непотрібних сторінок сайту через robots.txt: форми зворотного зв'язку, сторінки результатів пошуку, сторінки для друку та ін.
- Вказівка в файлі Sitemap.xml інформації про сторінки, які потрібно індексувати і як часто вони змінюються.
- Створити карту сайту sitemap.html із зазначенням посилань на всі сторінки сайту і документи.
- Налаштувати сервер для відповіді коректних HTTP заголовків? Для працюючих сторінок - код 200, для сторінок з помилками - 404.
Однак такі поради лише дозволяють коректно індексувати потрібну інформацію на сайті, але аж ніяк не прискорюють її і не дозволяють частіше залучати роботів на свій сайт. Тому вебмастера шляхом тестування різних методів вивели свої способи, за допомогою яких можна вплинути на швидкість індексування сторінок сайту в Яндекс.