Що таке бот? Це програма, яка вивчає ваш сайт. Боти бувають хорошими, а бувають і поганими. У чому відмінність хорошого бота від поганого? Хороший бот корисний. Наприклад, бот пошукової системи, яка вам цікава в плані просування сайту, є хорошим, так як він допомагає сторінках сайту швидше індексуватися і займати місце в пошуковій видачі. Поганий бот не переслідує таких цілей, він шукає вразливі місця, він викачує інформацію для потреб свого господаря, нічого не надаючи натомість - ні вигоди, ні зручних послуг. Нерідко погані боти крім крадіжки контенту створюють ще й перешкоди в роботі - зайве навантаження, яка уповільнює роботу сайту, аж до його зупинки. Тому, якщо розглядати ідеальну техніку роботи з сайтом, роботу хороших ботів потрібно заохочувати, а роботу поганих ботів забороняти.
Так, потрібно, але як відрізнити хорошого бота від поганого? Є кілька досить простих способів це зробити. Перше, що спадає на думку - це підпис бота, який той залишає у вигляді сліду. Хороші боти завжди мають правдиву підпис, яка показує, хто сканував сайт. Погані боти, як правило, приховують свою назву і призначення, маскуючись під звичайного відвідувача. Звичайно, сучасні технології з легкістю можуть визначити по поведінці, чи дивиться сайт реальна людина, або його сканує бот. Але ось автоматично визначити, чи гарний це бот, або поганий, вдається не завжди.
Тому до підпису слід додати одну особливість в поведінці, яка видає поганого бота: поганий бот завжди лізе туди, куди лізти заборонено. Для позначення заборонених місць для ботів існує файл robots.txt - в ньому прописуються всі шляхи, по яких ходити ботам не можна. Хороший бот не ходитиме туди, куди йому заборонили, а от поганий бот точно не упустить першій-ліпшій можливості пролізти в усі місця, які є на сайті.
За замовчуванням дозволено відвідувати сайт цим роботам:
Якщо ви хочете, щоб боту був дозволений доступ до сайту, то внесіть його в список дозволених.