Яндекс грузит сайт

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay

А еще желательно убедиться, что это действительно бот яндекса, а не зловред с юзерагентом Яндекс. Боты яндекса обычно ведут себя довольно умно и сами подстраиваются под мощности сервера. Реально не встречал случаев, когда именно боты яндекса ложили сервер своей чрезмерной активностью.

Кстати Выше Вам дали оч. хороший совет, если после прописания данной директивы ничего не измениться, то можете смело банить эти IP адреса, т.к. к яндексу они не имеют никакого отношения.

Поставил задержку 10 секунд, ничего не поменялось, потом 30 , тоже смотрю по логам запросы чаще чем каждые 30 сек, насколько быстро роботы должны выполнить команды, может не обновилось у них ещё? Хотя в вебмастере информация обновлена.

Ещё заметил что айпишников которые грузят примерно 4-5, это нормально или яндекс должен сканить с одного айпишника? Да и айпишники какие-то странные, вот открывок из файла логов.

2015-03-26 14:05:41, ok 5.255.253.215 (IP load = 0.8 %, total = 3.14 %)

2015-03-26 14:05:42, ok 5.255.253.215 (IP load = 0.8 %, total = 3.14 %)

2015-03-26 14:05:42, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:43, ok 37.140.188.5 (IP load = 0.83 %, total = 3.14 %)

2015-03-26 14:05:44, ok 5.255.253.215 (IP load = 0.8 %, total = 3.14 %)

2015-03-26 14:05:44, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:45, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:45, ok 37.140.188.5 (IP load = 0.83 %, total = 3.14 %)

2015-03-26 14:05:46, ok 5.255.253.215 (IP load = 0.8 %, total = 3.14 %)

2015-03-26 14:05:47, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:47, ok 5.255.253.215 (IP load = 0.8 %, total = 3.14 %)

2015-03-26 14:05:48, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:49, ok 37.140.188.5 (IP load = 0.83 %, total = 3.14 %)

2015-03-26 14:05:49, ok 5.255.253.215 (IP load = 0.8 %, total = 3.14 %)

2015-03-26 14:05:50, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:51, ok 5.255.253.57 (IP load = 0.75 %, total = 3.14 %)

2015-03-26 14:05:51, ok 5.255.253.142 (IP load = 0.43 %, total = 3.14 %)

2015-03-26 14:05:52, ok 37.140.188.5 (IP load = 0.83 %, total = 3.14 %)

2015-03-26 14:05:53, ok 37.140.188.5 (IP load = 0.83 %, total = 3.14 %)

---------- Добавлено 26.03.2015 в 15:03 ----------

Подскажет кто-то? Хостинг провайдер бьётся в грудь что это яндекс!

Полагаясь на этот тест http://test.1gb.ua/37.140.188.5/ip

Ждите, когда роботы перечитают ваш robots.txt

Они это делают не перед каждым запросом, как ни странно :)

Сколько по факту запросов в секунду? Если действительно это бот Яндекса, то стоит точно озадачиться производительностью своего детища.

да, роботы из подсетей Яндекса. По Юзер-агенту можете посмотреть это индексирующий бот, или боты Директа.

PS: Если индексирующие боты так "кладут сайт" - что-то не так с движком сайта или хостингом/тарифом. Ограничивать индексирующих роботов - моветон, тк они несут на сайт посетителей (наполняют существование сайта смыслом).

Если сайт - новый(ещё не проиндексированный), есть смысл временно закэшировать его страницы в статику и снять нагрузку с сервера(url страниц, естественно, надо оставить теми же). После полной индексации - кэширование можно убрать.

Проанализировал ситуацию, посмотрел историю индексирования, у яндекса почему-то в последние несколько дней в разы поднялся интерес к сайту и стал индексировать сильнее, запросов по факту где-то раз в 1-2 секунды.

Я так полагаю проблема в хостинге, а перейти на другой не знаю как, я в этом не очень шарю.