Проблемы с нагрузкой

Не могу упорядочить логи обращений к сайтам, чтобы выявить проблемные ip. Подскажите, есть какая-нибудь программа-анализатор, чтобы из файла с набором логов делала хоть самый простой отчёт - сортировала по количеству хотя бы. На Timeweb не отвечали на мои просьбы вобще 2 дня, а сегодня прислали ещё одно предупреждение, что через 2 дня отключат, если не уменьшу нагрузку, помогать не хотят (просил упорядоченный список логов)

"С нашей стороны, к сожалению, не производятся работы по проведению анализа создаваемой нагрузки, осуществить его вам необходимо самостоятельно или при помощи привлеченных специалистов.

Также с нашей стороны не предоставляются услуги по оптимизации проектов пользователя. Информация об оптимизации представлена в открытом доступе в сети Интернет и на тематических форумах."

А можно о ресурсах поподробнее? Чтобы было более полное понимание проблемы. Хотя бы специфику узнать.

Доски объявлений

Обратите внимание на плагины. Возможно вся проблема в них. Убедитесь, что они не вызывают излишней нагрузки. Скорее всего они у вас стандартные по ним есть комментарии. Возможно кто-либо уже выявил проблему и нашёл путь её устранения.

Если в скриптах уверены на 100%, то попробуйте потестить другой хостинг. Большинство Хостинг-Провайдеров сейчас предлагают тестовый период.

Посмотрел хорошо логи, прокрутил вручную со всех сайтов - основная нагрузка от робота Mail. На всех сайтах в robots.txt Crawl-delay: 4 секунды (для всех кроме яндекса), так он и долбит с этой периодичностью. Может увеличить отдельно для mail?

Это действительно может быть одной из причин. И может облегчить нагрузку.

В любом случае выбора у вас нет. Иначе, как вы ранее писали, вас отключат.

Правильно ли будет так ограничить Mail в robots?

User-agent: *

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 4

User-agent: Yandex

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 40

User-agent: Mail.Ru

Disallow: /admin/

Disallow: /fckeditor/

Disallow: /sendmail/

Disallow: /services.html

Disallow: /add/select/cat/

Disallow: /add/select/region/

Disallow: /css/

Disallow: /js/

Disallow: /pay/

Disallow: /change_region/

Disallow: /region_changer/

Disallow: /users/

Disallow: /*users

Disallow: /cgi-bin/

Disallow: /billing/

Disallow: /commands/

Disallow: /includes/

Disallow: /locale/

Disallow: /smarty/

Disallow: /templates/

Disallow: /uploads/

Disallow: /profile

Disallow: /registration

Disallow: /*type=

Disallow: /*noimg=

Disallow: /*price=

Disallow: /*users=

Disallow: /*name=

Disallow: /*from=

Disallow: /*notepad

Disallow: /*redirect.php

Disallow: /*redirect

Crawl-delay: 40

Host: www

Хост пишется один раз в самом низу?

Чтобы запретить робота Mail, добавил в htaccess строчки

RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru/1.0$

RewriteRule .* - [G]

однако робот всё-равно заходит. На хостинге сказали, что надо исправить маску юзерагента, скажите, что надо исправить? Эту тему, Как запретить робота (RewriteCond....) нашёл на этом форуме в архивах за 2010 год, прошло 3 года, что изменилось?

Попробуйте попросить программиста провести беглый анализ кода ваших сайтов, возможно дело именно в нём.

Всё-таки хотел бы сначала правильно запретить робота Mail, на хостинге сказали, что можно попробовать заменить на строчку RewriteCond %{HTTP_USER_AGENT} ^mail.ru.* [NC], те. получится

RewriteCond %{HTTP_USER_AGENT} ^mail.ru.* [NC]

RewriteRule .* - [G]

Стоит пробовать? Может кто знает точно как надо писать?