бот сильно грузит сервак

А может быть яндекс? - Нет нет нет нет нет

А может быть ворона? - Нет нет нет... 😂😂😂

А может быть приснилось?

Совет: пропиши в роботс.тхт запрет на индксацию всего сайта кроме главной - как раз будет время разобраться, что к чему. Ну и начать уже немного читать пора..

Поиск по robots.txt

Miha Kuzmin (KMY),

яндекс игнорирует вообще все указания по поводу времени обращения к страницам (expires, Last-Modified)?

А что по остальным поисковикам?

Бот тут непричем, если действительно сервер мощный. Скрипты не отлажены, вот и создается нагрузка. Бот тоже самое что и посетитель, значит сервер будет ложиться при обычный посещаемости.

Была таже проблема при обработке скриптов, сервак почти умирал.

Проблема как всегда банальна, написал кривые запросы и грузилась БД.

Обратитесь к программеру, пусть посмотрит на запросы к БД... и оптимизирует их.

Удачи.

Похоже на сателлиты. Вы уверены, что сервак мощный?

Огласите посещаемость в сутки, трафик в гигабайтах и, конечно же, мощность Вашего сервера...

У меня была такая проблема. Грузил бот Яндекса (при условии что есть хорошая связанность с MSK-IX) плюс любители сливать сайт целиком по широкому каналу. Проблема встаёт в полный рост при ограничении у хостера процессорной нагрузки, как например у 1gb.ru. Решил так: докупил мощьности процессора, потому как если закрыть роботам индексацию - поиск накроется. Воткнул защиту от массовых закачек, решение тут. И закрыл ссылки-ловушки от индексации в гугле и Яше. Сайт на месте и по сей день, хотя часть роботов пытается ворваться по закрытым ссылкам. Основную нагрузку у меня лично вызывали форумы, что phpBB что IPB. Нагрузка от бота подпрыгивала в 3-10 раз, в моём случае с 1-3 нормальных процентов до 7-9. Гугля и другие боты доставляли проблем куда меньше, у Яши кстати только несколько адресов наиболее проблемными были, остальные вели себя "прилично". Если поможет, буду рад.