iqmaker: Грузите конечно, только не в ущерб другим. А так логика аля: у меня есть ружье почему бы не стрелять из него куда мне хочется. Ну и я вас не минусовал, это вы зря.
У меня не было цели кому-то вредить. А логика такая. Есть канал и объем трафика, которые заранее известны, есть железо сервера, которое заранее известно - выполняю действия возможные при данных параметрах, при этом никакому конкретному сайту вреда я не наношу.
iqmaker: j1gs4w88, вы сами подумайте кому вы интересны, ну не хотели вы вредить и чего? Доброжелатели создающие нагрузку на сервер для чего? Просто подумайте почему кто-то вас должен терпеть? Делайте так, чтобы было не заметно и абуз не станет. Если абузы не сработают заблокируют ваш/и ip, я обычно так делаю сразу. А то загрузили чужие серваки в 100500 потоков а теперь удивляетесь.
Сервера арендуются с разными целями. Если канал и мощности сервера позволяют, почему я не должен его грузить?
В 100500 не грузил, грузил в 12500, прежде чем минусовать читать бы научились =)
Den73:
могу предложить подходящее решение, без блокировок.
"We have received information that there was an attack from your server."
Дальше перечисление соединений с моего ip на другие ip.
Я чекал паблик прокси в 12500 потоков.
Цели: парсинг поисковиков, некоторых сайтов и сервисов в многопоточном режиме. Ни в коем случае не планирую вредить работе какого-либо конкретного сайта.
Использую hetzner. Изначально брал для парсинга, сейчас жалею, как только нормально настроил софт на большое кол-во соединений(12500 потоков чекалка прокси), тут же пошли абузы от сервера.
Кто нибудь знает адекватные европейские сервера, которые легко дадут делать большое кол-во соединений(при отстутсвии ддоса какого либо сайта с моей стороны)? Российские сервера прошу не предлагать, ибо цены существенно дороже. Сейчас присматриваюсь к серверам во Франции, но саппорт не может четко ответить будут ли проблемы с Дата центром или нет.
Интересен будет выделенный сервер с которого будет происходить парсинг в промышленных масштабах =)
А вы уверены, что это точно Яндекс делает запросы, а не чей то парсер с прописанным User-Agent Яндекса?
Грузите конечно, только не в ущерб другим. А так логика аля: у меня есть ружье почему бы не стрелять из него куда мне хочется. Ну и я вас не минусовал, это вы зря.
У меня не было цели кому-то вредить. А логика такая. Есть канал и объем трафика, которые заранее известны, есть железо сервера, которое заранее известно - выполняю действия возможные при данных параметрах, при этом никакому конкретному сайту вреда я не наношу.
j1gs4w88, вы сами подумайте кому вы интересны, ну не хотели вы вредить и чего? Доброжелатели создающие нагрузку на сервер для чего? Просто подумайте почему кто-то вас должен терпеть? Делайте так, чтобы было не заметно и абуз не станет. Если абузы не сработают заблокируют ваш/и ip, я обычно так делаю сразу. А то загрузили чужие серваки в 100500 потоков а теперь удивляетесь.
Сервера арендуются с разными целями. Если канал и мощности сервера позволяют, почему я не должен его грузить?
В 100500 не грузил, грузил в 12500, прежде чем минусовать читать бы научились =)
могу предложить подходящее решение, без блокировок.
Напишите плиз в личку ваше предложение.
"We have received information that there was an attack from your server."
Дальше перечисление соединений с моего ip на другие ip.
Я чекал паблик прокси в 12500 потоков.
Цели: парсинг поисковиков, некоторых сайтов и сервисов в многопоточном режиме. Ни в коем случае не планирую вредить работе какого-либо конкретного сайта.
Использую hetzner. Изначально брал для парсинга, сейчас жалею, как только нормально настроил софт на большое кол-во соединений(12500 потоков чекалка прокси), тут же пошли абузы от сервера.
Кто нибудь знает адекватные европейские сервера, которые легко дадут делать большое кол-во соединений(при отстутсвии ддоса какого либо сайта с моей стороны)? Российские сервера прошу не предлагать, ибо цены существенно дороже. Сейчас присматриваюсь к серверам во Франции, но саппорт не может четко ответить будут ли проблемы с Дата центром или нет.
Планируете ли вы реализовать API в программе?
Сейчас прокси уже работают.
Снова не работают все SEO proxy...
SEO прокси несколько часов не работают, хотелось бы возобновления работы!