Як заборонити індексування сторінок

Отримати безкоштовний аудит

Думаю не варто особливо вдаватися в подробиці і писати про те, для чого потрібно забороняти пошуковим системам індексування сторінок, які формуються модулем посторінковою навігації. Скажу лише коротко: це потрібно для того, щоб не створювати дублювання контенту, який утворюється в багатьох CMS при угрупованню записів по сторінках.

Але насправді це дуже важливий момент в просуванні сайту. Розглянемо на прикладі.

Отже, питання, як правильно записати інструкцію

якщо у нас є три послідовності сторінок, де в УРЛ присутній параметр "? page".

  1. У блозі: //www.site.ru/blog/?page=2
  2. У блогах клубу: //www.site.ru/club/blog/?page=2
  3. У відгуках про продукцію: //www.site.ru/club/review/?page=2
Як заборонити індексування сторінок
Cronislaw / Shutterstock.com

Першу і другу послідовності треба закрити від пошукачів, а третю можна - вона містить оригінальний текст.

Якщо ми напишемо Disallow: / *? Page. щось не будуть індексуватися всі три послідовності. Тому, додавши в директиву слово
/ Blog. правило не поширюватиметься на третю ланцюжок.

Але ми не можемо написати одне універсальне правило для всіх випадків.

Нам потрібно закрити роботу доступ до сторінок блогу, які дублюють основний контент.

Ці та інші питання виникають після технічного аудиту сайту клієнта. В принципі, відповіді на деякі з них обговорюються на сео форумі. Але все ж можуть зустрітися нестандартні ситуації. Ось тому, я вирішив поділитися своїми напрацюваннями в цьому напрямку.

Схожі статті