Наприклад, тут це webgyry.info.
Що робити якщо пошукова система вибрала це доменне ім'я не правильно? Наприклад, я хочу, щоб пошукова система переносила мене не на webgyry.info, а на www.webgyry.info або навпаки.
Як цього добитися?
Крім основної директиви Disallow, яка використовується у файлі robots.txt, ми можемо використовувати ще ряд додаткових директив. Однією з них є директива host.
Саме ця директива може допомогти вирішити проблему.
Основне її призначення вказати основний домен вашого сайту, серед дзеркал, який буде для пошукової системи головним.
Практично у всіх сайтів є дзеркала, наприклад, ми можемо звернутися до сайту:
Це різні домени, але ведуть вони на один і той же сайт. Це і є ті самі дзеркала.
Щоб пошукова система могла визначитися, що тут є головним, і яке доменне ім'я використовувати в результатах пошукової видачі, в файл robots.txt додають директиву host.
Зверніть увагу, що якщо ваш сайт працює на протоколі http, тут його вказувати не можна.
Але, якщо ваш сайт працює на протоколі https, то вказувати його в директиві host обов'язково:
Як правило, директива host вказується в самому кінці файлу robots.txt.
Таким чином, додавши всього один рядок коду в файл robots.txt, ми можемо повідомити пошуковій системі про головне дзеркалі сайту.
До речі, якщо вам буде цікаво, я займаюся налаштуванням систем веб-аналітики для сайтів (Яндекс Метрика і Google Analytics).
Якщо ви хотіли б зробити ваш сайт більш ефективним і, щоб він приносив більше грошей, веб-аналітика може в цьому допомогти.
За допомогою інструменту «Цілі» ви можете добитися добрих результатів в цій справі. Детальніше тут.