Таким чином гугл конкретно заявляє:
Щоб не втратити позиції видачі, потрібно:
1. Відкрити в Robot.txt доступ до всіх CSS і JS файлів і перевірити файл robots.txt
3. Забороніть сканування сайту за допомогою метатегів або HTTP-заголовка X-robots-tag.
Метатег robots дозволяє визначати настройки індексації та відображення в результатах пошуку окремо для кожної сторінки. Його слід додати в розділ. приклад:
Метатег в прикладі вище забороняє всім пошуковим системам показувати цю сторінку в результатах пошуку. Заданий для атрибута name значення (robots) вказує, що директива поширюється на всіх роботів. Якщо ви хочете закрити доступ тільки одному з них, вкажіть замість robots інше значення для атрибута name, а саме назву потрібного робота. Окремі пошукові роботи також називаються агентами користувача (пошуковий робот використовує агент користувача для запиту сторінки). Наш основний пошуковий робот називається Googlebot. Щоб заборонити сканування сторінки тільки йому, змініть тег, як показано нижче:
Тепер тег повідомляє роботу Google (але не іншим пошуковим системам), що цю сторінку не слід показувати в результатах пошуку. Атрибути name і content нечутливі до регістру.
Пошукові системи можуть використовувати кілька роботів для різних ресурсів або цілей. Повний список роботів Google наведено тут. Наприклад, щоб сторінка відображалася в результатах веб-пошуку Google, але не в Google Новинах, використовуйте наступний метатег:
Якщо потрібно вказати директиви для декількох пошукових роботів, можна використовувати кілька метатегов robots:
При виявленні суперечать один одному директив роботи Google виконуватимуть найбільш сувору з них.