Dram

Рейтинг
1121
Регистрация
28.06.2008

Ура, ЦАРЬ вернулся!

jpg 159919.jpg
Mobiaaa:
access_log /var/log/nginx/access.$log.log combined if=$log;

Так можно получить три разных лога из одного мапа?

---------- Добавлено 01.02.2017 в 20:48 ----------

Сделал как вы предложили - нгихс перезагрузился нормально, но логи не создались

---------- Добавлено 01.02.2017 в 21:05 ----------

пока разнес на три мапа (работает), но как то не красиво, может можно в один объединить?

G0gA - неоднократно наблюдал писюнов и Якубовичах в уже проверенных. Вот только что три штуки заблокировал в уже проверенных. Такое впечатление что они сначала нормальное что-то крутят, потом меняют на писюны.

Я просматриваю 10 страниц в проверенных / не проверенных + поиск по актуальным на данный момент стоп ловам. Захожу в начале часа раз 10 в день.

Суммарно блокирую более 100 объяв в день.

kom09:
Плюс к этому - никаких проблем с Windows XP.

Проблемы с XP зависят не от сертификата, а от прописаных ключей шифрования!

'[umka:
;14900323']Тогда остаётся два варианта:
1. Боты стали насколько умными, что прикидываются живыми посетителями
2. Часть айпишников сдали под прокси. Типа режим "Интернет-эксплорер Турбо"
:)

А вот и доказательство:

52.164.249.229 - - [31/Jan/2017:09:51:11 +0300] "GET / HTTP/1.1" 503 206 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Запрос из сети ГовоСофта, а косит под Яндекс бота, пока все работает как задумано, тысячи ботозапросов каждый день получают 503 и 444

Да и еще - запросы из подсети 52. не запрашивают картинок, это точно парсеры

---------- Добавлено 31.01.2017 в 11:55 ----------

Открыл свой сайт, сделал запрос из Яндекс барузера с/без режима "Турбо" - рефер и айпи в логе не меняется.

---------- Добавлено 31.01.2017 в 12:00 ----------

У меня тут вопрос - важна ли очередность условий map в конфиге nginx?

На уязвимости мне пофиг, я больше страдаю от того что тащат у меня все разные умельцы.

Чтобы спарсить пару сотен тысяч страниц (а у меня их более 200.000).

Вот я и пытаюсь усложнить парсинг до "экономически не выгодно" или "млять там этот дебил такого накрутил, я задолбался уже"

по 3-5 запросов, это на прокси разоришься. + HTTP/2.0 у меня разрешен из небольшого числа стран, а это еще очень сильно сужает возможности использования прокси.

Я же хочу ввести два лимита (в минуту и в час)

+ я все же планирую прикрутить еще пару мулек, по типу бана тех кто не загружает стили, мож еще че-то придумаю.

G0gA:
Идеально, позиция гугла примерно такая: что-то не нравится — идите поболтайте с такими же вебмастерами и успокойтесь.

Только шумиха и массовый позор в СМИ заставят их шевелиться.

Если бы крупные СМИ подняли тему, лавочку быстро бы прикрыли.

Давайте начнем с Хабра.

Да, с кукой не вариант. Либо проверять вообще любую куку (но я так и не смог понять как правильно это записать) либо не использовать это.

У меня еще идея родилась.

HTTP/1.0 - выключен

HTTP/1.1 - лимитирован так что там фиг пролезешь

HTTP/2.0 - тут живые юзеры и сюда же придет нормальный кодер, через пол часика/час, когда поймет что ему мешает парсить ваш сайт. Да он тоже лимитирован, но значительно слабее, чтобы не мешать нормальным людям. И при желании за несколько дней можно вытянуть весь сайт.

Идея вот какая, на протоколе HTTP/2.0 если идет более

15 запросов в минуту + если более 500 в час - юзеру показывать страницу в гуглкапчей.

И пока не пройдет дальше не пускать.

Как это можно реализовать?

Сорее второй вариант - в бан их!

Ну че-то подозрительно сотни (а то и более 1000) запросов на мой скромный сайт от офисного планктона Майкрософта.... за пол дня....

Всего: 6929