Створюємо правильний robots txt

Грамотне створення правильного файлу robots txt (або ж його доопрацювання) значною мірою полегшує і прискорює не тільки індексацію сайту в цілому, але і допомагає власникові сайту закрити від індексації непотрібні на його погляд сторінки. Що ми розуміємо під таким широким словом, як непотрібні? По-перше, немає необхідності індексувати файли components, які ніякої особливої ​​цінності для просування сайту не мають, а також немає потреби вирішувати індексувати файли підписки, пошуку, тимчасові файли та іншу муть.

Як створити правильний robots txt?

Боти пошукових систем - це машини, які роблять все, що їм не забороняють, тому, якщо є бажання не засмічувати всесвітню павутину непотрібними для користувача файлами, то просто варто створити robots txt і нехай буде краще в індексі 100 сторінок, але всі вони будуть представляти цінність в мережі.

Якщо у Вас є принципове бажання мати в Інтернеті максимальну кількість сторінок, незалежно від їх цінності, то можна просто видалити robots txt або ж прописати в ньому

Тепер Ви зможете насолоджуватися великою кількістю сміття, який буде представляти сайт в мережі.

Сьогодні хотілося б розглянути створення правильного файлу robots txt конкретно для Joomla і під пошукову систему Яндекс, який допоможе уникнути проблеми з індексацією сайту. Взагалі-то в Joomla цей важливий технічний файл створюється автоматично і виглядає він в первісному вигляді так -

Створений або змінений файл зберігається в корінь сайту, де йому дружну компанію складуть інші системні файли - sitemap і favicon. які також грають свою роль в справі розкручування Інтернет-проекту.

Нові вимоги до robots від Google

Зараз Гугл вимагає, щоб його роботам був відкритий доступ до файлів стилів і скриптів. Якщо у вас в панелі веб-майстра з'явився напис

Googlebot не може отримати доступ до файлів CSS і JS на сайті ваш сайт.ру,

то вставте в файл robots на Joomla наступні директиви:

  • Getbot - швидка індексація сторінок в Яндексі
  • Seo-аналіз сайту з Яндекс Метрикою
  • Абсолютні, відносні та динамічні посилання
  • Анкор-лист сайту
  • Асесор і навчання Матрикснет

Підкажіть, поставив компонент k2, імпортував матеріали з Joomla стандартного, поставив Xmap, включив плагіни в ньому для content і к2. Тепер в карті сайту посилання і ті і ті. Що відключити краще, якщо 99% матеріалу на сайті використовується з к2? Або як краще тепер зробити карту сайту щоб пошуковики читали і позиції не втрачати? Заздалегідь дякую за допомогу!

Я особисто K2 не користувався - очевидно треба просто вказати шлях одних карт пошуковикам, а urls інших закрити від індексу. По-моєму просто - нехай буде хоч 10 карт - 9 закривашь і їх немає!

Підкажіть, поставив компонент k2, імпортував матеріали з Joomla стандартного, поставив Xmap, включив плагіни в ньому для content і к2. Тепер в карті сайту посилання і ті і ті. Що відключити краще, якщо 99% матеріалу на сайті використовується з к2? Або як краще тепер зробити карту сайту щоб пошуковики читали і позиції не втрачати? Заздалегідь дякую за допомогу!

Перепрошую. я теж не видаляв Disallow: / installation / - дивлюся у більшості цей рядок присутній. Пояснить хто - то що дає дозвіл на її індексацію?

Схожі статті