Форум Сайтостроение Веб-строительство

Большая нагрузка от ботов ПС по несуществующим адресам

MIKLFIRM
На сайте с 13.02.2010
Offline
166
MIKLFIRM
730

Коллеги, добрый день.

Уже около 2 недель боты Google/Yandex долбятся по несуществующим адресам, тем самым создавая огромную нагрузку на VDS.

Пример log во вложении:

66.249.65.23 - - [16/Nov/2016:10:12:18 +0300] "GET /phb/dental_16772/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.65.23 - - [16/Nov/2016:10:12:22 +0300] "GET /phq/dental_7181/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.65.23 - - [16/Nov/2016:10:12:22 +0300] "GET /phm/dental_42230/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.65.23 - - [16/Nov/2016:10:12:27 +0300] "GET /phc/dental_172/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
100.43.81.131 - - [16/Nov/2016:10:12:27 +0300] "GET /phq/dental_8479/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
66.249.65.23 - - [16/Nov/2016:10:12:30 +0300] "GET /phh/dental_6559/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.65.23 - - [16/Nov/2016:10:12:30 +0300] "GET /phe/dental_15954/ HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Движок WP.

В .htaccess добавлены вот такие правила:


RewriteCond %{QUERY_STRING} ph
RewriteRule ^.*$ - [F]

В Robots.txt

User-agent: *
Crawl-delay: 10

Как снизить нагрузку? (Могу от части чушь ниже написать, поправьте если что не так, пожалуйста)

Из идей:

1. Разобраться как сделать, чтобы 404 ошибка обрабатывалась не движком, а nginx.

2. Выяснить, почему боты долбятся по этим url.

3. Увеличить delay в несколько раз.

4. Оптимизировать движок. Сайт работает за счет кривой темы не особо быстро, пытался профайлингом разобраться что тормозит, но не осилил.

Может есть ещё здравые идеи?

Жизнь в стиле IT (http://www.mikl.su) Мои отзывы (http://about-hosting.ru/) о хостингах.
MIKLFIRM
На сайте с 13.02.2010
Offline
166
MIKLFIRM
#1

Может кому пригодится:

User-agent: *
Crawl-delay: 10

Для Google не работает. Количество запросов к серверу - можно выставить в GooGle Search console

[umka]
На сайте с 25.05.2008
Offline
456
[umka]
#2

Упор надо делать на оптимизацию страниц-ошибок, в частности 404/403.

Либо делать их статическими, либо оптимизировать скрипты так, чтобы они не создавали нагрузку.

Лог в помощь!
Samail
На сайте с 10.05.2007
Offline
369
Samail
#3

А теоретически в ваших урлах может такое встречаться?

"dental_16772" или такое: "/phq/"?

SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#4
MIKLFIRM:
Как снизить нагрузку?

Отбивать на подлёте средствами сервера, а не движка.

Хтацесс - это часть сервера, если что.

MIKLFIRM:
4. Оптимизировать движок. Сайт работает за счет кривой темы не особо быстро,

Ну это само-собой и к вышеозвученной проблеме отношения не имеет... если только кривая тема/плагины не рожают те урлы.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий