Поисковики ложат сайт

A
На сайте с 27.06.2014
Offline
45
479

Сайт новостно тематики:

Поисковики стабильно ложат тот сайт.

Делать так, чтобы они не сканировали сайт - не хочу.

Прописали директиву Crawl-delay, она до одного места.

Кто подскажет, какой выход из ситуации?

Crawl-delay поставил 60 секунд, может не всеми поддерживается?

maximka77
На сайте с 15.10.2011
Offline
239
#1

А как вы определили что это вина именно поисковиков?

- Базы чатов и каналов Телеграм ( https://base-top.ru/ ) - Недорогие ссылки с форумов ( https://cutt.ly/swQDFZWx)
A
На сайте с 27.06.2014
Offline
45
#2
maximka77:
А как вы определили что это вина именно поисковиков?

Есть основания полагать, что это именно поисковики

B
На сайте с 31.01.2012
Offline
125
#3

http://nginx.org/ru/docs/http/ngx_http_limit_req_module.html

В конфиге nginx:

http {
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

...

server {

...

location /tut_vash_location/ {
limit_req zone=one burst=5;
}

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий