Директива Disallow необхідна для даного робота, щоб дозволити йому індексування будь-якого файлу або папки.
Приклад яким дозволено проводити індексацію пошуковим роботам:
Наступний приклад забороняє індексувати сайт всім пошуковим ботам:
Якщо Вам необхідно закрити конкретну сторінку від індексування:
User-agent: *
Disallow: /stranitsa.html
Для блокування каталогів і всього їх вмісту:
User-agent: *
Disallow: / cgi-bin /
Disallow: / images /
Але не допустите помилку, якщо не поставите «/» після назви папки, наприклад зробите так:
User-agent: *
Disallow: / images
то починаються з символів «image» будуть заборонені всі файли і каталоги.
Директива Allow працює прямо протилежно до Disallow.
Директива Host додається для вказівки головного дзеркала вашого сайту:
User-agent: Google
Disallow:
Host: site.com
User-agent: Google
Disallow:
Host: www.site.com
Директива Sitemap - карта сайту - вказує на розташування XML-карти сайту:
У тому випадку якщо у Вашому ресурсі йде дублювання сторінок (найчастіше така ситуація зустрічається в блогах) і необхідно ці сторінки вилучити з індексації вставляйте МЕТА-тег Robots в тег «HEAD»:
Прискорюємо індексацію сайту
Як пошуковим системам google і яндекс вказати на головне дзеркало сайту