Я недавно наткнулся на посетителя, который нагенерировал 500 POST запросов по одному ровно раз в 15 секунд, то есть 100% не руками. Пошел проверить контент и рефереры, а посетитель ничего плохого не делал, все запросы оказались полезные, просто ему так удобнее было. А я забанить его думал :(
Любыми штуками можно порезать легитимный трафик, особенно подключив проксирование и защиты от ддосов, которые все время чистят.
Здесь по крайней мере все просто и если автору нужно будет не ограничивать какой-то трафик, он сможет выдавать ключ зоны через цепочку mapов или функцию и каким-то клиентам ставить лимиты, а каким-то нет.
kxk: zzzit, Я могу написать на коленке парсер с прокси и чем это поможет ТС?
Если будет проблема с многопоточными парсерами через разные прокси (мало вероятно), можно добавить еще одну зону, в которой резать больше тех, кто после попадания в первую зону долго продолжал парсить:
asteroid: 15к страниц + 2к картинок скачали за 3 часа с одного IP и не парились.
Пусть скачивают. Я не против. Но, хотелось бы не по "перезарядке", а с интервалом в несколько секунд. А то уж больно нагло получается.
Можно и забанить, но следить за этим и прописывать руками не хочется.
uraldom: Вот лично мое мнение - чем дороже хостинг и крупнее компания - тем хуже поддержка. Может, это мне так "везет", конечно.
У молодых компаний просто меньше клиентов и не загружен админ еще, могут позволить себе с вами повозиться за 4 доллара в месяц. Явление временное, работа стоит дорого. Потом ни за 4, ни за 50 возиться не будут.
MoMM: zzzit, найдите, пожалуйста, другую ветку для упражнений в риторике.
Какая риторика, он аргументирует выбор хостинга большой фирмой, как-будто такие есть в РФ.
overnight: По сравнению с местными форумными предложениями с 1 админом, 0,5 сотрудником техподдержки и 4 серверами без адреса и телефона — «Beget» просто монстр на мой взгляд.
В своё время тоже искал VIP-shared, перепробовал нескольких форумных «умельцев» — чушь полная. Для себя понял, что тот уровень услуг который мне нужен — бывает только у больших фирм. Маленькие не тянут.
resellerclub принимает вебмани и там есть хостинг
о хорошести не подскажу
у ovh тоже в теории можно через литовский филиал
Я недавно наткнулся на посетителя, который нагенерировал 500 POST запросов по одному ровно раз в 15 секунд, то есть 100% не руками. Пошел проверить контент и рефереры, а посетитель ничего плохого не делал, все запросы оказались полезные, просто ему так удобнее было. А я забанить его думал :(
Мораль: боты тоже люди и не всегда вредители.
А чистилки трафика 100% бы такое порезали.
Den73
Любыми штуками можно порезать легитимный трафик, особенно подключив проксирование и защиты от ддосов, которые все время чистят.
Здесь по крайней мере все просто и если автору нужно будет не ограничивать какой-то трафик, он сможет выдавать ключ зоны через цепочку mapов или функцию и каким-то клиентам ставить лимиты, а каким-то нет.
zzzit, Я могу написать на коленке парсер с прокси и чем это поможет ТС?
Если будет проблема с многопоточными парсерами через разные прокси (мало вероятно), можно добавить еще одну зону, в которой резать больше тех, кто после попадания в первую зону долго продолжал парсить:
15к страниц + 2к картинок скачали за 3 часа с одного IP и не парились.
Пусть скачивают. Я не против. Но, хотелось бы не по "перезарядке", а с интервалом в несколько секунд. А то уж больно нагло получается.
Можно и забанить, но следить за этим и прописывать руками не хочется.
Можно сделать в nginx, как-то так:
http {limit_req_zone $binary_remote_addr zone=foo:100k rate=10r/m;
server {
location ...php... {
limit_req zone=foo burst=100;
}
}
}
Барста хватит обычным юзерам, а боту после барста будут позволять не больше, чем 10 запросов в минуту.
Вот лично мое мнение - чем дороже хостинг и крупнее компания - тем хуже поддержка. Может, это мне так "везет", конечно.
У молодых компаний просто меньше клиентов и не загружен админ еще, могут позволить себе с вами повозиться за 4 доллара в месяц. Явление временное, работа стоит дорого. Потом ни за 4, ни за 50 возиться не будут.
По производительности диска никак не может быть хуже SANа у лизвеба. CPU тоже новый.
Вам шашечки? Под задачу надо смотреть, редко встречаются задачи, где CPU на впске играет какую-то роль, диск важнее.
zzzit, найдите, пожалуйста, другую ветку для упражнений в риторике.
Какая риторика, он аргументирует выбор хостинга большой фирмой, как-будто такие есть в РФ.
По сравнению с местными форумными предложениями с 1 админом, 0,5 сотрудником техподдержки и 4 серверами без адреса и телефона — «Beget» просто монстр на мой взгляд.
Наговариваете на людей ни за что.
У всех такая поддержка. Как раз в теме поиска вип хостинга пытался объяснить, что никто не будет возиться с такими проблемами за те деньги.
Это смотрели? https://beget.ru/vip-hosting
В своё время тоже искал VIP-shared, перепробовал нескольких форумных «умельцев» — чушь полная. Для себя понял, что тот уровень услуг который мне нужен — бывает только у больших фирм. Маленькие не тянут.
Бегет стала большой фирмой?