Відповідь на питання елементарний:
В robots.txt пишемо щось подібне:
User-agent: Yandex
Crawl-delay: 10
Якщо сервер сильно навантажений і не встигає відпрацьовувати запити на завантаження, скористайтеся директивою Crawl-delay. Вона дозволяє задати пошуковому роботу мінімальний період часу (в секундах) між закінченням завантаження однієї сторінки і початком завантаження наступної.
З метою сумісності з роботами, які не повністю дотримуються стандарту при обробці robots.txt, директиву Crawl-delay необхідно додати в групу, яка починається з записи User-Agent, безпосередньо після директив Disallow і Allow).
Пошуковий робот Яндекса підтримує дробові значення Crawl-Delay, наприклад, 0.5. Це не гарантує, що пошуковий робот буде заходити на ваш сайт кожні півсекунди, але дозволяє прискорити обхід сайту.
User-agent: Yandex
Crawl-delay: 2 # задає таймаут в 2 секунди
User-agent: *
Disallow: / search
Crawl-delay: 4.5 # задає таймаут в 4.5 секунди
Директива зроблена для того що б знімати навантаження від сказу Яндекса, яке судячи з усього не має меж.
Знаю, деякі чекають бота Яндекса як ману небесну, а я тут пишу як його зупинити, притримати. Так існують такі проблемми. Мільйонери теж мучаються і не знають куди подіти гроші =).