Так можно получить три разных лога из одного мапа?---------- Добавлено 01.02.2017 в 20:48 ----------Сделал как вы предложили - нгихс перезагрузился нормально, но логи не создались---------- Добавлено 01.02.2017 в 21:05 ----------пока разнес на три мапа (работает), но как то не красиво, может можно в один объединить?
G0gA - неоднократно наблюдал писюнов и Якубовичах в уже проверенных. Вот только что три штуки заблокировал в уже проверенных. Такое впечатление что они сначала нормальное что-то крутят, потом меняют на писюны.
Я просматриваю 10 страниц в проверенных / не проверенных + поиск по актуальным на данный момент стоп ловам. Захожу в начале часа раз 10 в день.
Суммарно блокирую более 100 объяв в день.
Проблемы с XP зависят не от сертификата, а от прописаных ключей шифрования!
А вот и доказательство:
Запрос из сети ГовоСофта, а косит под Яндекс бота, пока все работает как задумано, тысячи ботозапросов каждый день получают 503 и 444
Да и еще - запросы из подсети 52. не запрашивают картинок, это точно парсеры---------- Добавлено 31.01.2017 в 11:55 ----------Открыл свой сайт, сделал запрос из Яндекс барузера с/без режима "Турбо" - рефер и айпи в логе не меняется.---------- Добавлено 31.01.2017 в 12:00 ----------У меня тут вопрос - важна ли очередность условий map в конфиге nginx?
На уязвимости мне пофиг, я больше страдаю от того что тащат у меня все разные умельцы.
Чтобы спарсить пару сотен тысяч страниц (а у меня их более 200.000).
Вот я и пытаюсь усложнить парсинг до "экономически не выгодно" или "млять там этот дебил такого накрутил, я задолбался уже"
по 3-5 запросов, это на прокси разоришься. + HTTP/2.0 у меня разрешен из небольшого числа стран, а это еще очень сильно сужает возможности использования прокси.
Я же хочу ввести два лимита (в минуту и в час)
+ я все же планирую прикрутить еще пару мулек, по типу бана тех кто не загружает стили, мож еще че-то придумаю.
Только шумиха и массовый позор в СМИ заставят их шевелиться.
Если бы крупные СМИ подняли тему, лавочку быстро бы прикрыли.
Давайте начнем с Хабра.
Да, с кукой не вариант. Либо проверять вообще любую куку (но я так и не смог понять как правильно это записать) либо не использовать это.
У меня еще идея родилась.
HTTP/1.0 - выключен
HTTP/1.1 - лимитирован так что там фиг пролезешь
HTTP/2.0 - тут живые юзеры и сюда же придет нормальный кодер, через пол часика/час, когда поймет что ему мешает парсить ваш сайт. Да он тоже лимитирован, но значительно слабее, чтобы не мешать нормальным людям. И при желании за несколько дней можно вытянуть весь сайт.
Идея вот какая, на протоколе HTTP/2.0 если идет более
15 запросов в минуту + если более 500 в час - юзеру показывать страницу в гуглкапчей.
И пока не пройдет дальше не пускать.
Как это можно реализовать?
Сорее второй вариант - в бан их!
Ну че-то подозрительно сотни (а то и более 1000) запросов на мой скромный сайт от офисного планктона Майкрософта.... за пол дня....
А вот пример - 13.93.82.28 , написано Microsoft Corporation, а рефер такой
Это нормально? Почему не пишет что бот?
еще пример 52.169.88.181, написано Microsoft Corporation, а рефер такой
52.164.240.201, написано Microsoft Corporation, а рефер такой
52.174.145.81, написано Microsoft Corporation, а рефер такой
