Я тоже не понимаю - появляется сайт и я более чем уверен что не составляет большого труда понять что 99% его текстов уже есть в сети = сразу бан и едем дальше!!!
Зачем такие сайты вообще индексировать и ранжировать?
Решил заменить вертикальный блок 160*600 на вертикальный постер. А то что у постера минимальная ширина 200 пкс. + ипортент я наверное должен был догадаться сам.
Заменил, подождал 20 мин, разницы не увидел и пошел по делам. Пришел - сайт весь перекошен ибо блок поломал всю верстку.
Я просматриваю логи каждый час - из ботов по http 1.0 ходит только бот майл ру и то 1 его вид, который долбит robots.txt, но он заходит не часто, поэтому не тормозится. Ближайшие пару дней все 503 ошибки буду просматривать и анализировать вручную, мож че подкручу.
Подскажите, пожалуйста, вчера перешли на РТБ с обычного директа.
Аналитикой можно заниматься через неделю, я тоже в первые два дня уже начал в мыслях выбирать себе яхту.... РТБ нужно несколько дней оценить сайт.
Я тоже не понимаю - появляется сайт и я более чем уверен что не составляет большого труда понять что 99% его текстов уже есть в сети = сразу бан и едем дальше!!!
Зачем такие сайты вообще индексировать и ранжировать?
Сами из выдачи делают помойку!
В документации есть описание - https://yandex.ru/support/partner2/web/products-direct/types-flexible.xml
Т.е. меняя блок я должен штудировать доки?? Жесть.
А без извратов сделать нельзя - чтобы создавая блок я видел все его характеристи?
Решил заменить вертикальный блок 160*600 на вертикальный постер. А то что у постера минимальная ширина 200 пкс. + ипортент я наверное должен был догадаться сам.
Заменил, подождал 20 мин, разницы не увидел и пошел по делам. Пришел - сайт весь перекошен ибо блок поломал всю верстку.
Спс Яндекс, не устаешь удивлять!
За последние 2 мес. перенс на https 7 сайтов, доход не изменился
Спасибо, то что нужно!!!
Я просматриваю логи каждый час - из ботов по http 1.0 ходит только бот майл ру и то 1 его вид, который долбит robots.txt, но он заходит не часто, поэтому не тормозится. Ближайшие пару дней все 503 ошибки буду просматривать и анализировать вручную, мож че подкручу.
В общем остановился пока на этом
в секцию http
default 0;
# боты google
64.68.80.0/21 1;
64.233.160.0/19 1;
66.102.0.0/20 1;
72.14.192.0/18 1;
209.85.128.0/17 1;
216.239.32.0/19 1;
66.249.0.0/16 1;
# боты yandex
77.88.0.0/18 1;
87.250.224.0/19 1;
93.158.0.0/16 1;
95.108.128.0/17 1;
213.180.192.0/19 1;
141.8.0.0/16 1;
130.193.0.0/16 1;
5.255.253.0/24 1;
178.154.149.0/24 1;
}
map $whitelist $limit {
0 $binary_remote_addr;
1 "";
}
limit_req_zone $limit zone=vse:10m rate=1r/s;
map $server_protocol $limit2 {
"HTTP/1.0" $binary_remote_addr;
default "";
}
limit_req_zone $limit2 zone=bot:10m rate=1r/m;
в секцию сервер нужного хоста
limit_req zone=bot;
Код работает, проверил. Он:
1. Не лимитирует основных поисковых ботов (можно дбавлять по желанию)
2. Всем остальным дает делать не более 1 запроса в секунду (с кратковременными всплесками до 3 запросов).
3. Тормозит разных зверей шляющихся по HTTP/1.0 до 1 запроса в минуту
Так же в сервер добавил наиболее бешеных ботов, шляющихся именно по моим сайтам
return 444;
}
с яндексом ясно, не работает их ящик для текстов.
в в гугле что у вас с этим вопросом?
Гоша очень быстро понял что это клон и там я его вижу очень редко и всегда далеко ниже меня
Едрить мадрить - limit_req zone=one burst=5 nodelay; нужно в http поднять?
Но этож тогда лимиты пойдут и на статику тоже. Других вариантов нет?
---------- Добавлено 26.12.2016 в 17:09 ----------
Все равно не понимаю, как лимит
в секции сервер
может воздействовать на
limit_req_zone $limit zone=bot
в секции http
зоны то разные!!!
---------- Добавлено 26.12.2016 в 17:20 ----------
Цитирую по ссылке выше
limit_req (поддерживается начиная с версии nginx 1.1.14),
их следует указывать на одном уровне.
Так у меня так и указано - три в http
limit_req_zone $limit zone=bot
limit_req_zone $binary_remote_addr zone=one
и три в сервер
limit_req zone=goodbots burst=5 nodelay;
limit_req zone=one burst=5 nodelay;
limit_req zone=bot;