Форум Практика оптимизации Любые вопросы от новичков по оптимизации

как уменьшить нагрузку от ботов?

L0
На сайте с 26.12.2016
Offline
30
lolka02
1464

У нас проблема. Очень часто бывает (по несколько раз в час), что сервак не выдерживает и падает, когда боты начинают парсить сайт. Портал с посещаемостью 20000 уников в сутки. Как поступить с ними? Как уменьшить нагрузку от ботов поисковиков? в robots.txt прописали Crawl-delay: 10, но это не помогает. Посоветуйте, может есть и другие решения?

Drums
На сайте с 13.02.2011
Offline
81
Drums
#1

Может есть смысл закрыть доступ ненужным ботам, и оставить только для кошерных, типа Яши и Гоши?

Шустрые и стабильные VDS на SSD дисках (http://articleland.ru/get/host.php) за 3.49/мес
iccup
На сайте с 01.05.2016
Offline
208
iccup
#2 

	location @fallback {

	if ($host !~ ^(domain.com|www.domain.com)$ ) {

return 444;

}

if ($http_user_agent ~* "msnbot|ahrefsbot|mj12bot|megaindex|bingbot|linkpadbot|baiduspider|moreover|BPImageWalker|spbot|LinkWalker|orangebot") {

		return 444;

}

if ($request_method !~ ^(GET|HEAD|POST)$ ) {return 444;}

		proxy_pass http://127.0.0.1:8080;

		proxy_redirect http://127.0.0.1:8080 /;

		proxy_set_header Host $host;

		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

		proxy_set_header X-Forwarded-Proto $scheme;

		access_log off;

	}
kimsufi.com ( https://www.kimsufi.com ) очень дешевые и качественные дедики https://clck.ru/gvF9p - антибот, использую уже 3 года.
D
На сайте с 28.06.2008
Offline
1114
Dram
#3

Вот мое решение /ru/forum/comment/14885499

skybee
На сайте с 16.12.2009
Offline
126
skybee
#4
lolka02:
У нас проблема. Очень часто бывает (по несколько раз в час), что сервак не выдерживает и падает, когда боты начинают парсить сайт.

Либо очень, очень слабый сервак, либо не оптимизированный код, БД, запросы к БД.

Запрет ботов это не решение проблемы, это слабенький костыль.

dotern
На сайте с 21.09.2016
Offline
135
dotern
#5

Да, огласите на чем лежит сайт? Хостинг, впс? Если впс, то конфиги и какая компания?

Потому что 20к это уже нагрузка сама по себе.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий