Як додати свій файл в blogger (blogspot)

Як додати свій файл robots.txt в Blogger (Blogspot)

Як додати свій файл в blogger (blogspot)
Продовжуючи пошукову оптимізацію блогу, не можна випускати з виду таку можливість Blogger, як додавання свого файлу robots.txt. З його допомогою можна точно вказати пошуковим роботам правила для індексування блогу і при бажанні, встановити різні параметри для різних пошукових систем.
Додати власний файл robots в Blogger-блог не складе труднощів, все робиться через панель інструментів. Головне завдання полягає в його правильно складанні.
Щоб скористатися даною налаштуванням, необхідно в адмін-панелі свого блога зайти на вкладку "Налаштування", перейти в "Налаштування пошуку" де в розділі "Пошукові роботи та індексація" буде пункт "Призначений для користувача файл robots.txt":

Як додати свій файл в blogger (blogspot)

Клікнувши на "Змінити" вибираємо "Так" і в що з'явилися віконце додаємо текст свого заздалегідь підготовленого файлу для роботів або пишемо його прямо тут.

Як додати свій файл в blogger (blogspot)


Але основне питання залишається в тому, як же правильно скласти власний користувальницький файл robots. Як це робиться можна знайти і прочитати в розділі "Допомога" будь вебмастерской пошукових систем, де ви вже напевно зареєстровані, а якщо немає, то раджу вам це зробити. Добре викладено тут. Однак, коротко опишу структуру. За замовчуванням у Blogger такий robots.txt

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: / search
Allow: /

Пошукові роботи індексують сайти за принципом - все що не заборонено, то - дозволено. По-цьому існує два принципи записів:
1. Заборонити все і вказати дозволу тільки для обраних сторінок;
2. Заборонити вибрані директорії.
Що кожен вирішує сам. Я сильно не старався просто прибрав мета-теги, додані раніше.
І ще, можна вказати для кожного пошукача свої параметри індексування через 'User-agent:' наприклад для Яndex - 'User-agent: Yandex'. а для Mail.ru - 'User-agent: Mail.Ru'. думаю що це набагато зручніше ніж користуватися мета-тегами.

А ось варіант даного файлу, який використовується в цьому блозі:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: / search
Disallow: / * archive
Allow: /

User-agent: Yandex
Disallow: / search
Disallow: / * archive
Allow: /

User-agent: Mail.Ru
Disallow: / search
Disallow: / * archive
Allow: /

Може кому сподобається і стане в нагоді.

Так що тепер можна колядувати і налаштовувати потрібну індексацію свого блогу, в будь-який час, не відчуваючи ніяких труднощів.

Добрий день, може бути ви зможете, мені допомогти, при перевірці роботекс в Яндексі він пише: "Файл robots.txt НЕ буде врахований роботом Яндекса, тому що при запиті виконується перенаправлення."
роботекс виглядати так
User-agent: Mediapartners-Google
Disallow:

Головним дзеркалом я вибрала сайт без www, але це вже було після того, як яндекс видав повідомлення про перенаправлення, пробувала вставити host, але блогер пише, що форматування некоректно, що мені робити?)

Схожі статті