Всім привіт! Продовжую виконувати побажання своїх читачів: в минулій статті пояснив як встановити лічильники відвідуваності. а сьогодні розповім як створити Robots.txt для Blogger і налаштувати персоналізовані теги robots.
Що таке Robots.txt?
Отже, давайте спочатку розберемося, що собою являє цей файл, які завдання виконує і яку роль відіграє в оптимізації блогу чи сайту, а вже потім детально розглянемо файл Robots.txt для Blogger.
Robots.txt - це документ у форматі .txt, який розташований в кореневому каталозі. З його допомогою ми можемо дати пошуковому роботу рекомендації щодо індексації нашого блогу.
Директиви файлу Robots.txt
Правильний Robots.txt повинен включати в себе такі команди:
- User-agent: - це запит до певного роботу пошукової системи;
- Disallow: - команда, яка забороняє роботу сканувати зазначені розділи блогу. Якщо ж розділ не вказано, то директива означає «Дозволено все, що не заборонено»;
- Allow: - команда, яка дозволяє сканувати сайт, розділ або сторінку;
- Sitemap: - карта сайту в форматі XML.
- / - кореневий каталог.
Можливо, вам зараз щось незрозуміло, але, читаючи статтю далі, ви побачите, що все не так складно, як здається.
Призначений для користувача файл Robots.txt для Blogger
Тепер давайте подивимося, який файл використовує Blogger за замовчуванням, розберемося, що можна змінити / додати, а потім складемо свій файл Robots.txt.
Розберемося, що означають ці директиви:
Подивимося, що в цей файл можна додати:
використовувані команди
Розповім про декілька командах, щоб ви розуміли їх призначення:
- all - дозволено індексувати сторінку;
- noindex - заборонено індексувати сторінку;
- nofollow - заборонено передавати вага всіх посилань, розташованих в статті;
- none - те ж саме, що і попередні дві команди;
- noarchive - заборонено виводити посилання на кеш сторінки;
- nosnippet - забороняє показ сниппета в пошуковій видачі;
- noodb - команда для Google, яка забороняє використовувати в якості сниппета опис з каталогу DMOZ;
- notranslate - заборонено переводити статтю на інші мови;
- noimageindex - команда забороняє індексувати всі зображення на сторінці;
- unavalible_after - забороняє індексацію контенту після встановленої дати.
Тегів, досить багато, але в дійсності використовувати ми буде всього кілька з них.
Налаштування персоналізованих тегів для Blogger
Щоб налаштувати дані теги, знову перейдіть в розділ «Налаштування», потім в «Налаштування пошуку» і в блоці «Пошукові роботи та індексація» відзначте варіант «Так» біля опції розділ "теги robots для заголовків».
Тепер подивіться на скріншот, які пункти зазначив я: