Завдання будь-якого сайту - донести до якомога більшої кількості людей інформацію, яку він містить. Просування сайту в пошукових системах (ПС) - найбільш ефективний спосіб це зробити. Один з етапів просування - індексація сайту, т. Е. Зчитування всіх даних з сайту, подальша їх обробка алгоритмами пошукових систем і занесення результатів в базу даних.
Не знаючи кухні цього процесу, ефективно просувати сайт неможливо. У цій статті ми розповімо, що відбувається з інформацією, зібраною з ресурсу в надрах ПС і як її упакувати для кращого засвоєння. Тобто розповімо про процес індексування і його поліпшення.
Індексація сайту - що знаходиться на початку
Якщо театр починається з вішалки, то індексування з того, що роботу пошукової системи необхідно повідомити, що в інтернеті з'явився новий ресурс. Зробити це можна двома способами:
- Зареєструвати сайт в пошуковій системі вручну Яндексу (webmaster.yandex.ru/addurl.xml), Google (www.google.com/webmasters/tools/submit-url?hl=ru) та інших пошукових системах, якщо вони вас цікавлять.
- Дати посилання на сайт зі стороннього інтернет-ресурсу (зрозуміло, той уже повинен бути зареєстрований).
Перший спосіб краще, оскільки в цьому випадку перша індексація з великою ймовірністю відбудеться раніше.
Чому залежить частота індексування і як її прискорити
Що впливає на цю оперативність?
- Завантаженість сервера, де розташований сайт. Якщо він завантажений безліччю сайтів, а його технічні характеристики не дозволяють оперативно передавати інформацію пошуковому роботу, то останній буде його відвідувати рідше. Звідси рекомендація - хочете швидкої індексації, розмістіть свій інтернет-ресурс на якісному хостингу.
- Частота оновлення веб-сторінок і всього сайту в цілому. Чим частіше відбуваються оновлення, тим частіше робот буде приходити на такий ресурс. Все цілком логічно. Сенс часто приходити туди, де нічого не відбувається? Тільки слід знати один нюанс. Робот буде приходити саме на ті сторінки, які часто і оновлюються. Тобто, якщо хочете, щоб оперативно оцінювалася інформація на головній сторінці вашого сайту її і регулярно оновлюйте. Найпростіший спосіб - розмістити на ній блок новин.
- Відвідуваність сайту і поведінкові фактори його відвідувачів. Тобто, якщо відвідуваність висока і люди на ресурсі затримуються довго, роблять внутрішні переходи, то інтервал між індексаціями, безумовно, зменшиться.
Як бачите, на всі ці три фактори можна впливати в сприятливу для власника сайту сторону.
Як дізнатися, що сторінка в індексі
Це далеко не просте запитання і не з серії: «Краще будь-яка інформація, ніж невідомість». Адже якщо точно знати, що індексація пройшла, а позиції вашого сайту у видачі не змінилися, значить щось ви робите не так.
Перевірити індексацію сайту можна кількома способами:
- На сервісі Яндекс.Вебмастер ( «Перевірити URL»). Тут можна дізнатися:
- коли відбулася остання індексація;
- який документ показується відвідувачеві в результаті пошуку;
- рекомендації щодо прискорення індексації;
- якщо сторінка відсутня в пошуку, то з яких причин.
- Провести пошук за допомогою наступного виразу: url: цікавить url, наприклад, url: moi sairu / contacts
- Пошук за допомогою оператора site. Наприклад, записавши в пошуковий рядок site: moi site.ru ви отримаєте список всіх сторінок вашого сайту, які були проіндексовані.
- Перевірити індексацію списку URL в SE Ranking.
Сервіс SE Ranking пропонує також інструмент відстеження видачі заданого URL в пошуку. Так що ви завжди будете знати, не випала чи цікавить сторінка з індексу, а також видається чи потрібна сторінка по конкретному пошуковому запиту.
Як управляти пошуковим роботом
Пошукова система викачує інформацію з сайту по строго певним планом. Тут немає місця імпровізації. А де вона бере цей план? Так на самому інтернет-ресурсі! Тобто ви можете вказати ПС, що і як завантажувати або не викачувати.
файл robots.txt
Типові помилки у файлі robots.txt
- Помилковий заборона до індексації деяких сторінок сайту.
- Код HTTP-відповіді відмінний від 200. Наприклад, якщо при запиті сторінки з файлом robots.txt пошуковий робот отримає HTTP-відповідь, що дорівнює 403 ( «заборонено»), то він повністю проігнорує вміст файлу robots.txt, в тому числі на заборону індексації визначених сторінок.
- Наявність кириличних символів в файлі. Особливо часто така помилка стала з'являтися, коли з'явилася можливість записувати урл кириличними буквами. Наприклад, якщо в директиві Host (вказує на головне дзеркало сайту) написати лютікіцветочкі.рф, то такий запис буде проігнорована. У таких випадках необхідно такі урл передавати в юникоде.
- Розмір файлу txt перевищує 32 кб.
На завершення по robots.txt зауважимо, що не обов'язково сайт повинен його мати. Для простих одно-двосторінкових інтернет ресурсів, наприклад, Лендінгем Пейдж такий файл буде зайвим. Якщо ж у вас він є, то коректність його вмісту можна перевірити на сторінці Яндекс.Вебмайстер - webmaster.yandex.ru/robots.xml. Завантажуєте файл в спеціальну форму і бачите, які помилки в ньому є.
файл sitemap
У цьому файлі вказується, які сторінки підлягають індексації. Звичайно, вказати на них пошуковому роботу можна і іншими способами. Наприклад, навігацією меню, «хлібні крихти», внутрішньої перелінковкою.
Але, по-перше, якщо у вас є Лендінгем Пейдж, на яку можна потрапити тільки по зовнішньому посиланню, то проіндексувати її можна тільки за допомогою sitemap.
По-друге, в sitemap за допомогою:
- тега
можна вказати пріоритет індексації; - тега
частоту оновлення конкретної сторінки.
Ця інформація не директивна для робота, але обов'язково буде прийнята ним до уваги.
Типові помилки у файлі sitemap
- Розміщення sitemap на іншому сайті. Часто це буває, коли використовується сервіс для генерації такої файлу. В цьому випадку сервіс розміщує карту вашого сайту у себе.
- На сторінці, де знаходиться карта сайту, встановлений редирект.
- Критичні помилки усередині файлу sitemap. Наприклад, відсутня рядок із зазначенням кодування.
Перевірити вірність файлу sitemap на сторінці Яндекс.Вебмайстер - webmaster.yandex.ru/ sitemaptest.xml.
У другій частині статті: «Принципи індексування сайту. Частина 2 »ми поговоримо про принципи роботи з дзеркалами, про дублях сторінок, про помилки при використанні HTTP-кодів. І ще раз підкреслимо, що правильна настройка індексації сайту може істотно допомогти його просуванню.