Всё-таки хотел бы сначала правильно запретить робота Mail, на хостинге сказали, что можно попробовать заменить на строчку RewriteCond %{HTTP_USER_AGENT} ^mail.ru.* [NC], те. получится
RewriteCond %{HTTP_USER_AGENT} ^mail.ru.* [NC]
RewriteRule .* - [G]
Стоит пробовать? Может кто знает точно как надо писать?
Чтобы запретить робота Mail, добавил в htaccess строчки
RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru/1.0$
однако робот всё-равно заходит. На хостинге сказали, что надо исправить маску юзерагента, скажите, что надо исправить? Эту тему, Как запретить робота (RewriteCond....) нашёл на этом форуме в архивах за 2010 год, прошло 3 года, что изменилось?
Правильно ли будет так ограничить Mail в robots?
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /sendmail/
Disallow: /services.html
Disallow: /add/select/cat/
Disallow: /add/select/region/
Disallow: /css/
Disallow: /js/
Disallow: /pay/
Disallow: /change_region/
Disallow: /region_changer/
Disallow: /users/
Disallow: /*users
Disallow: /cgi-bin/
Disallow: /billing/
Disallow: /commands/
Disallow: /includes/
Disallow: /locale/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /profile
Disallow: /registration
Disallow: /*type=
Disallow: /*noimg=
Disallow: /*price=
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /*redirect.php
Disallow: /*redirect
Crawl-delay: 4
User-agent: Yandex
Crawl-delay: 40
User-agent: Mail.Ru
Host: www
Хост пишется один раз в самом низу?
Посмотрел хорошо логи, прокрутил вручную со всех сайтов - основная нагрузка от робота Mail. На всех сайтах в robots.txt Crawl-delay: 4 секунды (для всех кроме яндекса), так он и долбит с этой периодичностью. Может увеличить отдельно для mail?
Доски объявлений
Не могу упорядочить логи обращений к сайтам, чтобы выявить проблемные ip. Подскажите, есть какая-нибудь программа-анализатор, чтобы из файла с набором логов делала хоть самый простой отчёт - сортировала по количеству хотя бы. На Timeweb не отвечали на мои просьбы вобще 2 дня, а сегодня прислали ещё одно предупреждение, что через 2 дня отключат, если не уменьшу нагрузку, помогать не хотят (просил упорядоченный список логов)
"С нашей стороны, к сожалению, не производятся работы по проведению анализа создаваемой нагрузки, осуществить его вам необходимо самостоятельно или при помощи привлеченных специалистов.
Также с нашей стороны не предоставляются услуги по оптимизации проектов пользователя. Информация об оптимизации представлена в открытом доступе в сети Интернет и на тематических форумах."
Я это уже понял, поэтому например, за год вперёд не собираюсь платить нигде. Желательно не привлекать к себе излишнего внимания, в частности скачками нагрузки
Там доплатил 1 тыс. за год + 50 cp, 100 на 5 сайтов хватает. Может туда и перенесу остальные, сделаю 2-й аккаунт
Да я понимаю что логичны, думаю может где есть требования помягче. Спасибо за ссылку, посмотрю
У меня на 2-х хостингах подобная картина, речь о TimeWeb, и на Beget нагрузка растёт, как бороться с подобными программами, если это от них
