Аналізатор допомагає знайти помилки у файлі robots.txt, перевірити, чи всі команди прописані вірно і зрозумілі роботу, і дізнатися, чи дозволено до індексування конкретна сторінка.
Як повідомити пошуку про зміни на сайті?
Є сайти, новий контент яких потрапляє в пошук дуже швидко. До них відносяться великі популярні ресурси з часто оновлюваною інформацією - наприклад, сайти ЗМІ. У Яндекса є спеціальний швидкий робот, який індексує такі ресурси і відразу ж додає свіжі дані в пошук.
Пошукові роботи зазвичай самі визначають, які сторінки сайту необхідно обійти. Але ви можете їм допомогти.
Як люди використовують карту, щоб відвідати всі цікаві для них місця, так і роботи воліють рухатися по сайту за допомогою спеціальної карти. Вона називається Sitemap. Карта потрібна для того, щоб робот не пропустив якісь сторінки сайту. Наявність такої карти особливо важливо для великих ресурсів зі складною структурою.
Щоб робот міг користуватися вашою карткою, вона повинна бути не більше 10 МБ (в стислому вигляді), містити не більше 50 тисяч сторінок і розташовуватися в тому ж домені, що і включені в неї сторінки. Якщо карта не відповідає цим вимогам, можна розбити її на кілька файлів і вказати їх у файлі індексу Sitemap.
Найчастіше карта сайту створюється автоматично. Найбільш поширені формати карт -текстовий і XML. Яндекс підтримує обидва. Однак краще використовувати формат XML, тому що в ньому є додаткові поля. Вони дозволяють вказати значимість сторінки, частоту її поновлення і дату останніх змін. Давайте спробуємо прочитати Sitemap, щоб зрозуміти, яка інформація там відображена.
Перед вами карта сайту, який складається всього з двох сторінок
Якщо карта сайту містить помилки, робот може сприйняти її неправильно або взагалі не зможе прочитати. Перевірити карту легко на сервісеЯндекс.Вебмастер - за допомогою інструменту «Валідатор файлів Sitemap».
Вона повинна бути задана в файлах robots.txt всіх дзеркал. Повідомити роботу по змінах, внесених можна в Яндекс.Вебмастере. Для цього потрібно зайти в розділ «Налаштування індексування», далі «Головне дзеркало» і вибрати потрібний домен зі списку. Якщо цей домен там відсутня, значить, він ще не був доданий на сторінці «Мої сайти».
Можлива ситуація, коли домен вже доданий в Веб-майстер, але не відображається в списку дзеркал. Це означає, що пошукова система ще не склеїв його з іншими дзеркалами і сприймає як окремий ресурс. В цьому випадку міняти головне дзеркало не потрібно. Потрібно просто почекати, поки пошукова система склеїть дзеркала. Як і зміна головного дзеркала, склейка дзеркал відбувається раз в 1,5-2 місяці.
Як оцінити якість індексування сайту?
У пошукову базу потрапляють не всі сторінки сайтів.
Причини можуть бути різні. Наприклад, пошукова система порахувала сторінку дублікатом або пошуковий робот просто не встиг до неї дістатися. Наскільки повно проіндексований ваш сайт, можна дізнатися на сервісі Яндекс.Вебмастер. Він покаже, скільки сторінок проіндексовано і скільки з них потрапило в пошук. Ви зможете дізнатися також тематичний індекс цитування ресурсу (тИЦ).