У даній статті ми ознайомимося з правильною настроюванням файлу robots.txt для Joomla.
robots.txt - це файл до якого пошуковий бот (робот) звертається в першу чергу.
Він дає вказівки пошуковим роботам, що можна індексувати, а що не можна.
За замовчуванням у Вас в корені повинен бути даний файл, якщо його немає, то створіть звичайний текстовий документ з назвою robots.
Можу посперечатися, що у вас в корені є такі папки (каталоги):
Для того, щоб заборонити роботу індексувати ваші каталоги, компоненти, плагіни і т.д досить написати в robots.txtслово Disallow: / каталог /.
На початку повинен стояти покажчик для робота - "User-agent:", якщо після двокрапки поставити зірочку - "*", User-agent: * - це буде вказівка для всіх пошукових роботів, які будуть приходити на Ваш сайт. Якщо ж Ви хочете вказати, що робити конкретній роботу, ось список назв:
- Гугл - User-agent: Googlebot;
- Рамблер - User-agent: StackRambler;
- Яндекс - User-agent: Yandex;
- Yahoo - User-agent: Slurp або Yahoo! Slurp;
- MSN - User-agent: MSNBot;
Тепер розглянемо як повинен повністю виглядати цей файл.
Дивимося в корінь сайту і вказуємо які каталоги потрібно закрити від індексації.
Host - Вказуємо ваш основний домен.
Sitemap - Вказуємо шлях до карти сайту.
Disallow: / images / - якщо закрити від індексації, зображення не будуть в пошуку.
На цьому все, удачі в просуванні :)