Сьогоднішня замітка про файлі robots.txt .... Що це за файл такий, навіщо він потрібен і, як написати robots.txt правильно - питання на які належить знайти відповіді жирафа ...
Поштовхом для більш докладного вивчення даного матеріалу послужила рекомендація Гугла про бажаний перекладі всіх ресурсів на захищене з'єднання - протокол https ...
Природно досліди по переходу з http на https жирафа буде проводити на Блогостройке - адже для цього мені цей ресурс і потрібен ...
А причому тут robots.txt запитаєте Ви?
Справа в тому, що я вичитала, що при переході на https потрібно буде обов'язково вказати це в даному файлі. Полізла шукати, як це зробити і .... застрягла ... заплуталася в купі інформації про те, як написати robots.txt правильно ...
Виникло бажання розібратися хоч трохи ...
А так як я в цьому практично нічого не розумію, то скористаюся матеріалами, які мені більше сподобалися (чисто жіноча логіка)))
Давайте, все по порядку ...
Що таке файл robots.txt і навіщо він потрібен
robots.txt - це текстовий файл, в якому містяться рекомендації про правила індексації Вашого ресурсу, написані Вами для пошукових роботів.
І потрібен він для тих же самих пошукових роботів, щоб вони розуміли Ваші переваги щодо індексації свого ресурсу.
У файлі robots.txt прописуються умови індексації: що потрібно індексувати роботу, а що не потрібно
Раджу прочитати: Пісня для Яндекса або труднощі ведення блогу і заробітку на ньому - частина перша
Чи може сайт існувати без robots.txt? - Да може…
Але, в цьому випадку, в індекс потрапить все!
І те, що туди зовсім не повинно потрапити - сторінка входу в адміністративну панель, наприклад.
До речі, такий же результат буде і при неправильному написанні файлу, роботи просто будуть його ігнорувати ...
... як ніби його зовсім немає ...
Тому досить важливо знати, як написати robots.txt правильно, щоб в ньому був якийсь сенс)))
10 правил складання файлу або, як написати robots.txt правильно
Раджу прочитати: Налаштування медіафайлів Вордресс
Важливо! При написанні директиви Host вказувати протокол http не потрібно.
А ось захищений протокол https необхідно вказати
висновок
Ну, що ж ... в теорії жирафі цілком зрозуміло, як написати robots.txt правильно ...
Залишилося перевірити своє розуміння на практиці ....