Тег meta name robots contents - follow noindex noodp
Призначення тега robots полягає в тому, щоб давати можливість або забороняти роботам, які відвідують сайт, додавати відомості про нього в базу даних пошукових систем (індексувати сторінку). Ще цей елемент може запропонувати роботам обійти весь сайт і проіндексувати його сторінки. Забороняти індексування файлів і каталогів переважно через файл robots.txt Користувачі, які не мають доступу до кореневої директорії сервера, можуть використовувати цей тег для заборони індексування своїх документів і каталогів.
Тег ставиться на початку html-документа (значення поміщаються в meta тег).
Його запис досить проста (не має значення великі чи маленькі букви використовуються):
Атрибут content елемента robots може приймати такі параметри:
Meta name robots noindex і nofollow
Для того щоб відключити індексацію потрібно написати
Щоб не дати певному пошуковому роботу індексувати вашу сторінку, але дозволити це іншим, потрібно використовувати такий запис:
Як бачите, якщо аргумент content має кілька параметрів, то вони перераховуються через кому.
Meta name yandex
Ім'я робота в разі ПС Яндекса - yandex
Meta name google
Для пошукової системи Google ім'я робота слід вказати - google, приклад:
Meta name robots index і follow
Щоб не заносити в базу даних пошукової машини картинки пишуть:
Meta name robots content noarchive
Пошукові машини Google і Yandex для кожного об'єкту сканування сайту, роблять і зберігають його знімок. Архівований варіант зберігається в кеші, що дає можливість пошуковику необхідно прибрати цю сторінку по спеціальному посиланню в результатах пошуку, коли вона з якихось технічних причин недоступна. Веб-сторінка, яка зберігається в кеші, відображається такою, якою вона була в той момент, коли її зберіг пошуковий робот. Про те, що користувач переглядає кешовану сторінку каже повідомлення у верхній частині сайту. Можна звернутися до кеш-версії сторінки, натиснувши на кнопку «збережено в кеші», в результатах пошуку.
Для того щоб кнопка "Збережено на сервері" не виводилася в певній пошуковій системі можна написати:
Такий запис прибирає тільки посилання "Збережено" на архівувати сторінку, пошукова система і далі буде індексувати сайт і відображати його фрагмент.
NOSNIPPET - прибрати сниппет
Сніпетів називається текст, під заголовком сторінки в результатах пошуку, використовуваний для опису сайту.
Щоб він не виводився, в частині head додається такий тег:
Коли видаляється фрагмент з ним видаляються і заархівовані в кеш сторінки.
NOODP - заборона використання DMOZ пошуковими системами
Для створення фрагментів часто застосовується такий джерело, як Open Directory Project. Щоб пошукачі не застосовували його, для опису вмісту сайту, додається тег:
Параметри атрибута content можна об'єднувати, таким чином:
Заборони пошуковим системами
Яким чином можна дати зрозуміти пошуковому роботу, що якусь частину сторінки не потрібно перевіряти чи по якійсь одній засланні не варто переходити?
Мета тег document-state
У таких випадках застосовується тег document-state. Він приймає два значення: static і dynamic (за замовчуванням):
Static означає, що немає необхідності переіндексувати сторінку в майбутньому, так як вона не буде змінюватися. Dynamic означає що необхідно регулярно переіндексувати сторінку, так як вона буде змінюватися.