У багатьох вебмайстрів виникло питання: як зробити «blackout», але при цьому не нашкодити сайту? На форумі вебмайстрів Google з'явився пост співробітника JohnMu з детальними рекомендаціями щодо відключення сайту. Дані рекомендації корисні не тільки для учасників протесту американськими законами, а й для всіх вебмайстрів, яким буває необхідно закрити тимчасово сайт на оновлення, виправлення критичних помилок і т.д. У будь-якому випадку краще не вимикати сайт, але якщо без цього не обійтися, то робити це потрібно правильно. Ось, що рекомендує співробітник Google:
Використовуйте 503 HTTP-статус, але уважно читаючи довідку.
Найчастіший сценарій - вебмастера вирішують замінити контент на сайті просто прибравши тексти і залишивши якесь "послання". Важливо в даному випадку зробити так, щоб повертався 503 HTTP-статус для всіх URL, які беруть участь в "акції" (конкретних сторінок або всього сайту).
а) це буде означати, що це не "справжній" контент і він не буде проіндексований; б) з огляду на перший пункт, навіть якщо ми бачимо той же контент (повідомлення про політичний протест, наприклад) на всіх сторінках, проблем і санкцій, пов'язаних дублюванням контенту не буде; в) швидкість індексації сайту знизиться, якщо сайт віддає 503 код. Це неминуче, проте це не спричинить тривалих проблем, так як швидкість індексації сайту швидко відновиться після того, як сайт почне віддавати 200-й код. Те, наскільки швидко відновиться нормальна індексація, залежить від вашого сайту.
Два важливих зауваження щодо robots.txt
a) Бот Google зараз налаштований так, що він зупиняє індексацію сайту, якщо robots.txt віддає 503 код відповіді. Індексація відновлюється тільки після того, як робот отримає 200 або 404 код відповіді сервера при запиті robots.txt. Тому, якщо ви вирішили заблокувати тільки частина сайту, переконайтеся, що robots.txt не віддає 503 код. В іншому випадку ви заблокуєте відразу весь сайт від робота Google.
б) Деякі веб-майстри вирішують змінити robots.txt, щоб зупинити індексацію сайту і додають директиву "Disallow: /". Ніколи не блокуйте бота Google таким чином - це може викликати проблеми, вирішення яких займе значно більше часу, ніж кілька днів.
Помітили помилку? Виділіть її та натисніть Ctrl + Enter.