- Фактори, що впливають на індексацію сайту
- Управління індексацією сайту
- висновки
У цьому розділі ви дізнаєтеся про те, як домогтися коректної індексу ції сайту, що потрібно зробити, щоб пошукова система включіластраніци вашого сайту в список доступних для пошуку, і як можна управляти індексацією сторінок.
Фактори, що впливають на індексацію сайту
З глави 1 «Пропозиція і пошук інформації в Інтернеті» ви дізналися, чому важливо, щоб сайт з'явився в результатах пошуку. Для цього пошукова система повинна включити сторінки сайту до свого індекс. Інформація про пристрій пошукачів ви прочитали в попередньому розділі. Тепер поговоримо про те, як зробити так, щоб робот пошукача безперешкодно проіндексував ваш сайт, а також про те, як можна управляти поведінкою пошукового робота на сайті.
Можна виділити декілька чинників, які роблять значний вплив на індексацію сторінок сайту і подальше ранжування посилань на документи в результатах пошуку на пошукових системах. Розглянемо їх детальніше.
Якщо ви хочете використовувати в імені HTML-сторінки кілька слів, можете з'єднати їх трьома способами: написати разом, розділити дефісом (-) або знаком підкреслення (_).
Робота серверних скриптів
В роботі серверних скриптів та налаштування веб-сервера часто приховано досить багато факторів, що роблять величезний вплив на індексацію сайту роботами пошукових систем.
заголовки HTTP
Перш за все потрібно правильно налаштувати роботу сервера і серверних скриптів з заголовками HTTP.
Протокол HTTP - це мова, на якому клієнт (наприклад, браузер або пошуковий робот) і сервер вашого сайту «розмовляють» за допомогою запитів і відгуків. При кожному запиті до сервера браузер або робот пошукача передає службову інформацію в HTTP-заголовках.
Дата зміни сторінки
Чим частіше на вашому сайті змінюється інформація і додаються нові сторінки, тим частіше буде приходити на сайт робот пошукової машини. Припустимо, ми знаємо, що на сайті є сторінки, які не змінилися (наприклад, архів новин), і є оновлені сторінки або зовсім нові. Нам важливо, щоб пошуковик проіндексував свіжі сторінки, а старі зайвий раз не скачував. Але пошукова машина не знає того, що знаємо ми.
Щоб зрозуміти, чи змінилася сторінка з моменту останнього візиту робота, пошуковик повинен її заново завантажити до себе і порівняти з попередньою версією. Білі сторінка містить значущі зміни, то її копія в індексі замінюється нової, якщо немає, то в індексі залишається раніше скачаний варіант. Виходить, що робот зайнятий скачуванням не зміниться сторінок, а на нові у нього не вистачає часу. Крім того, що в індекс не потрапляють нові сторінки, великі сайти можуть зіткнутися з ще однією проблемою - невиправданою навантаженням на сервер. Для того щоб уникнути цього, можна налаштувати на сервері обробку дати створення і редагувати сторінки. Якщо така настройка включена, то при запиті пошукового робота якоїсь сторінки сервер буде повідомляти роботу дату останнього редагування цієї статті. Тоді ті сторінки, які не внесено жодних змін з дати минулого приходу робота, чи не будуть скачиваться ще раз, а робот буде більше приділяти уваги новим або зміненим сторінок.
Про те, як налаштувати обробку дати зміни сторінки, ми розповімо нижче.
Сесії і дублікати
Якщо на сайті передбачена можливість реєстрації користувача (наприклад, форум), важливо якось запам'ятовувати, коли він останній раз був на сайті, які сторінки відвідував, які налаштування зробив, і т.д. Для цього існує механізм сесій - унікальні ідентифікатори для кожного відвідувача сайту.
Cookie (від англ.cookie - печиво) - спеціальна текстова рядок, що зберігається накомпьютере користувача, за допомогою якої кожен сайт може «помітити» браузер користувача. При повторному зверненні сайт зчитує значеніеcookieі «дізнається» користувача.
- www.site.ru/script.php?page=servicemode=show
- www.site.ru/service/
- www.site.ru/service.html
- www.site.ru/service.htm
Окремо слід відзначити механізм Яндекса з видалення дублікатів: коли кількість однакових сторінок сайту досягає певного порогу, запускається спеціальна програма, яка видаляє зайві сторінки з індексу пошукової системи. Іноді після такої процедури в індексі просто не залишається документів з сайту, і процес індексації починається з самого початку.
код сторінок
Основна частина інформації в Інтернеті - це тексти в форматі HTML. Веб-сторінка являє собою текст, розмічений HTML-кодом (процес розмітки називається версткою). Пошуковик, після того, як викачає сторінку, починає її розбирати - відокремлювати текст від HTML-коду (про це ви читали в попередньому розділі). Від того, наскільки коректно складений HTML-код сторінки, залежить те, наскільки правильно робот проиндексирует сторінку.
Крім того, HTML-код сторінок - один з основних внутрішніх факторів, важливих для успішного позиціонування сторінок сайту в результатах пошуку. Пошуковики намагаються розпізнати логічну структуру тексту - заголовки, логічні акценти на найбільш важливих словах. Для цього в мові HTML існують спеціальні засоби-теги ', наприклад