Мало який сайт може похвалитися незалежністю від пошукових систем. Більшість веб-ресурсів живуть тільки за рахунок органічного трафіку - і це нормально!
Якщо ви також хочете створити на свій сайт нормальний потік людей з пошукових систем, ви зобов'язані виконувати всі вимоги пошукових систем для правильної індексації.
Якщо ігнорувати вимоги пошукових систем, а зокрема Яндекса і Гугла, то ваша майданчик ніколи не отримає нормальні позиції у видачі, а значить ви не зможете заробити на сайті.
З чого складається файл robots.txt
Щоб зрозуміти, як необхідно налаштувати даний файл конкретно для вашого сайту, ви повинні навчитися користуватися його командами і розшифровувати чужі файли robots.txt. В цілому, цей файл складається з набору операторів і їх значень.
Коли будете писати roborts.txt, вам необхідно буде звернутися до конкретних пошуковим системам, в яких ви розкручуєте свій ресурс. Зробити це можна буде за допомогою оператора user-agent. Якщо ви не станете змінювати стандартний файл robots.txt, то біля оператора user-agent буде стояти зірочка. Вона позначає відкритий доступ для всіх відомих пошукових систем. Але ви можете прибрати цю зірочку і визначити конкретні імена пошукових роботів:
Не лякайтеся кількості існуючих роботів. Вам не потрібно буде прописувати інструкцію для кожного існуючого спайдера. Це потрібно робити тільки в особливих випадках, якщо у вас якийсь унікальний проект, де, наприклад, потрібно індексувати тільки картинки. В основному, роботи дуже добре сприймають загальні команди, тому індивідуальний підхід до пошуковиків не знадобиться. Хіба що для Яндекса, у якого своє власне сприйняття операторів файлу robots.txt.
Можливо, у вас виникає питання: навіщо потрібен оператор allow, якщо є disallow? Справа в тому, що іноді необхідно дозволити індексацію для частин ресурсу, які знаходяться в розділах, доступ до яких закритий для пошукових роботів. Саме для цього і потрібен оператор allow.
Завдяки оператору host ви зможете вказати основне дзеркало. Але краще робити це не за допомогою файлу robots.txt, а вказувати основний шлях до сайту в настройках SEO через адмінку Joomla. Адже дубльований URL для однієї сторінки в цілому шкодить її індексації. Якщо ви скористалися і перенаправленням URL через налаштування Joomla, і вказали host в robots.txt - нічого страшного, так навіть краще.
Оператор sitemap покаже роботам, як дістатися до карти сайту. Якщо у вас до сих пір немає такої, то обов'язково займіться її створенням. Це ще один важливий фактор ранжування, який може значно поліпшити роботу вашого ресурсу. Щоб ви розуміли важливість цього, варто відзначити, що файл sitemap має таке ж значення, як і robots.txt.
Оператор Clean-param відповідає за заборону індексації динамічних посилань. Приклад таких посилань може бути пошук усередині сайту, коли до звичайного URL дописують різні суфікси пошукового запиту. Вказати даний оператор в рядку файлу robots.txt - це хороше рішення.
Як налаштувати robots.txt для певного сайту Joomla
Щоб роботи максимально ефективно індексували сторінки сайту, потрібно написати правильний файл robots. Краще відразу активувати Человекопонятние посилання, так як з ЧПУ настройка robots.txt злегка відрізняється. Активувати ЧПУ-посилання, або SEF, можна в адмінки Joomla. Після активації цього режиму вам потрібно буде в файлі для роботів прописати два оператора disallow, які заборонятимуть індексацію index.php * і index2.php *. Але якщо у вас не включені Человекопонятние посилання, які не вписуєте такі команди.
