Яндекс слишком много сканирует сайт

R2
На сайте с 05.12.2016
Offline
33
346

Сложилась такая ситуация что робот яндекса сканирует очень большой объем к примеру за 10.07.2019 он загрузил себе 12.90 ГБ и такая ситуация уже на протяжение 2 недель (при том что весь объем сайта составляет 670 мб... подскажите для чего такое сканирование сайта нужно боту? может стоит ограничить в яндекс вебмастере скорость обхода и если ограничивать то какую величину выставлять в яндекс вебмастере?

Данные по журналу AWStats

D1
На сайте с 30.07.2015
Offline
147
#1

Это не бот поиска. Смотрите логи, конкретику.

X
На сайте с 04.12.2018
Offline
279
#2

Активность мэйл-бота Вас не смущает?

Согласен с demon155. фраза catchall "поймать всех" в скобках намекает на необходимость более глубокого анализа что это за бот.

Удобный съем позиций (http://allpositions.ru/redirect/58277)
R2
На сайте с 05.12.2016
Offline
33
#3
demon155:
Это не бот поиска. Смотрите логи, конкретику.

Вы имеете ввиду что это НЕ БОТ яндекса? Может это бот яндекс турба?

---------- Добавлено 11.07.2019 в 14:41 ----------

Xubart:
Активность мэйл-бота Вас не смущает?

Почему должна смущать "Активность мэйл-бота" ? У меня идут на сайт переходы с поисковика майл , да и сайт добавлен в кабинет вебмастера майл. Или что при наличие на сайте 4 000 страниц - это СЛИШКОМ большая активность бота что ли?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий