Грамотне створення правильного файлу robots txt (або ж його доопрацювання) значною мірою полегшує і прискорює не тільки індексацію сайту в цілому, але і допомагає власникові сайту закрити від індексації непотрібні на його погляд сторінки. Що ми розуміємо під таким широким словом, як непотрібні? По-перше, немає необхідності індексувати файли components, які ніякої особливої цінності для просування сайту не мають, а також немає потреби вирішувати індексувати файли підписки, пошуку, тимчасові файли та іншу муть.
Як створити правильний robots txt?
Боти пошукових систем - це машини, які роблять все, що їм не забороняють, тому, якщо є бажання не засмічувати всесвітню павутину непотрібними для користувача файлами, то просто варто створити robots txt і нехай буде краще в індексі 100 сторінок, але всі вони будуть представляти цінність в мережі.
Якщо у Вас є принципове бажання мати в Інтернеті максимальну кількість сторінок, незалежно від їх цінності, то можна просто видалити robots txt або ж прописати в ньому
Тепер Ви зможете насолоджуватися великою кількістю сміття, який буде представляти сайт в мережі.
Сьогодні хотілося б розглянути створення правильного файлу robots txt конкретно для Joomla і під пошукову систему Яндекс, який допоможе уникнути проблеми з індексацією сайту. Взагалі-то в Joomla цей важливий технічний файл створюється автоматично і виглядає він в первісному вигляді так -
Створений або змінений файл зберігається в корінь сайту, де йому дружну компанію складуть інші системні файли - sitemap і favicon. які також грають свою роль в справі розкручування Інтернет-проекту.
Нові вимоги до robots від Google
Зараз Гугл вимагає, щоб його роботам був відкритий доступ до файлів стилів і скриптів. Якщо у вас в панелі веб-майстра з'явився напис
Googlebot не може отримати доступ до файлів CSS і JS на сайті ваш сайт.ру,
то вставте в файл robots на Joomla наступні директиви:
- Getbot - швидка індексація сторінок в Яндексі
- Seo-аналіз сайту з Яндекс Метрикою
- Абсолютні, відносні та динамічні посилання
- Анкор-лист сайту
- Асесор і навчання Матрикснет
Підкажіть, поставив компонент k2, імпортував матеріали з Joomla стандартного, поставив Xmap, включив плагіни в ньому для content і к2. Тепер в карті сайту посилання і ті і ті. Що відключити краще, якщо 99% матеріалу на сайті використовується з к2? Або як краще тепер зробити карту сайту щоб пошуковики читали і позиції не втрачати? Заздалегідь дякую за допомогу!
Я особисто K2 не користувався - очевидно треба просто вказати шлях одних карт пошуковикам, а urls інших закрити від індексу. По-моєму просто - нехай буде хоч 10 карт - 9 закривашь і їх немає!
Підкажіть, поставив компонент k2, імпортував матеріали з Joomla стандартного, поставив Xmap, включив плагіни в ньому для content і к2. Тепер в карті сайту посилання і ті і ті. Що відключити краще, якщо 99% матеріалу на сайті використовується з к2? Або як краще тепер зробити карту сайту щоб пошуковики читали і позиції не втрачати? Заздалегідь дякую за допомогу!
Перепрошую. я теж не видаляв Disallow: / installation / - дивлюся у більшості цей рядок присутній. Пояснить хто - то що дає дозвіл на її індексацію?