У Яндекса існує індексація зображень, так що на ваш розсуд можете підкоригувати наступний рядок:
Disallow: / images /
# Видаляєте, якщо бажаєте щоб ваші зображення індексувалися Яндексом
# Або залишаєте, для заборони індексації всіх зображень.
Якщо ви використовуєте у себе на сайті підтримку SEO, то Joomla автоматично створює два види посилань на ваші сторінки, що є не дуже добре. Ось для того, щоб боти не індексувалась НЕ seo посилання прописуємо наступне:
Disallow: /index.php?*
або можна використовувати наступне правило, для боротьби з дублікатами сторінок
Disallow: /index2.php
Величина затримки в секундах перед індексуванням сторінки, необхідно для повільних серверів. Директива Crawl-delay дозволяє вказати індексується роботу мінімальний інтервал часу (в секундах) між запитами на індексування сторінок. Не всі роботи підтримують її, варто вказувати для Яндекса.
Crawl-delay: n - замість n вказуємо час в секундах
Приклади використання директиви Crawl-delay:
User-agent: Yandex
Crawl-delay: 3 # задає таймаут в 3 секунди.
Багато боти індексують файли PDF, що ні не завжди потрібно. Так ось, що б заборонити PDF файли, то прописуємо наступне:
В Joomla існують сторінки для друку, так ось їх треба прибрати - заборона індексації змінної, наприклад, сторінок для друку
Забороняємо індексацію новинних каналів
Disallow: /*rss.html
Disallow: /*atom.html
Заборона індексації динамічних посилань
Забороняємо індексацію трекбеків
Для західних ботів:
Request-rate: 1/5
# Завантажувати не більше однієї сторінки за п'ять секунд
Visit-time: 0600-0845
# Завантажувати сторінки тільки в проміжок з 6 ранку до 8:45 за Гринвічем
Правильний robots.txt для Joomla (скопіюйте і вставте до себе готовий файл robots.txt):
Якщо чпу не включене то index.php закривати не можна.
Компоненти ви можете закрити всі
Disallow: / component /
але деякі іноді потрібно індексувати, наприклад галерею або форум.
Сторінки пошуку я закриваю, адже там тільки дублі сторінок.
Disallow: / component / search /
Disallow: / component / mailto /
Disallow: / component / user /
Що таке redirect-301
Файл robots.txt для Joomla 2.5
robots.txt. Видалення дублів в Joomla 2.5
robots.txt Помилки і рекомендації
Дублі сторінок Joomla 2.5
Джерела дублів Joomla
Плагін для видалення дублів Shnodoubles