Кто пользуется hetzner.de? - часть 5

searchi, а какова именно суть жалобы?

На воровство контента или что?

Может, всего напросто, ваш сервис создает очень большую нагрузку на работу их сайта, что мягко говоря их не устраивает, когда один IP создает такую нагрузку на их сайт и посылает большое кол-во запросов

Что можно посоветовать, так это взять пару тройку IP на сервер, написать скрипт, чтобы он работал через них или просто прокси сервера юзать, дабы не создавать дискомфорт так сказать с одного IP

Ибо они видят, что вы льете много информации с одного адреса, тем самым нагружаете их сервис.

Да, но тут именно вопрос разрешено ли у hetzner нагружать другие сайты.. (про воровство речи не идет) владельцы сайта написали что мол видят abusive веб траффик. Так вот вопрос где грань между abusive и обычным для hetzner - что можно, а что нет.. Сколько можно трафика (запросов) лить на чужой сайт чтобы не нарушать правила hetzner? Или можно лить сколько угодно, до первой жалобы?

А если речь не о сервере, будет ли обычный интернет провайдер реагировать на жалобы на множество запросов к одному сайту? Как-то тут не понятно неужели сотни тысяч запросов к одному сайту это нарушение соглашения с интернет провайдером или сервер-провайдером (hetzner)

Лично я пишу только жалобы такого типа:

iptables -A INPUT -s IP-ADDRESS -j DROP (разные вариации возможны)

Действует безотказно и мгновенно 🍿

iptables -A INPUT -s IP-ADDRESS -j DROP (разные вариации возможны)

Тут просто главный вопрос - запрещено ли у hetzner делать сотни тысяч запросов к чужому сайту или нет?

Перечитал правила, нигде ничего похожего не вижу...

Разве что

http://www.hetzner.de/en/hosting/legal/system-policies-rs

но это вроде все же не о том...

Правда и про всякие ddos, переборы паролей на других сайтах и т.п. - не слова по-моему у них в правилах. А ведь мою активность (сбор данных) при желание можно обозвать и DoS-атакой

Проблема правда была еще в том что мой скрипт из-за того что на чужом сайте нужно авторизовываться и сессии вечно сбивались пытался заново логинится, и по ошибке сделал похоже слишком много таких попыток подряд зациклившись.. Ошибку я заметил как раз перед тем как автор

сайта видно сделал команду и отправил абузу

iptables -A INPUT -s IP-ADDRESS -j DROP (разные вариации возможны)

В общем, не понятно разерешено ли так использовать hetzner или нет. Просто не хочется чтобы из-за моих эксперементов для личных целей, мои основные белые сайты пострадали..

Если количество wget выходит за разумные рамки и создаёт существенную нагрузку на сервер, который парсит, то тут и переходится грань. Мне кажется, нужно просто здравым смыслом руководствоваться и не превышать количество запросов, которое в среднем может делать один пользователь на сайте, исходя из посещаемости сайта.

Я на IP, которые в лидерах по количеству запросов с большим отрывом, обращаю пристальное внимание, и если в логах видно, что это неизвестный робот (по User Agent, запрашиваемым файлам и путям хождения по сайту), то сразу блокирую, т.к. кроме лишней нагрузки от таких роботов никакой пользы.

А насчёт абузы - связаться с владельцем сайта, накатавшем её, покаиться и ответить в Hetzner, что вопрос решён. Иногда можно договориться и в белую получать данные от парсящегося сайта, а не в чёрную его парсить, маскируясь под посетителя сайта.

Ребят, у кого есть сервер в DC12? Сегодня с утра проблемы с сетью, при чем походу только из Украины и только с DC12.

Высокий пинг, > 1000, без каких-либо причин с нашей стороны.

У кого есть там сервачок, можете проверить? Если вы не с Украины, пробейте его тут например http://www.just-ping.com/

Заранее спасибо! :)

madmaxmad, у меня в DC12 все норм.

С Украины пинг без проблем?

Kharkov, Ukraine: Okay 42.6 43.3 45.1

Странно. Он же на мой сервак показывает >1000 пинг. Просил нескольких знакомых, тестировали меня - все ок. Походу проблемы с одним из наших каналов... Но вот что странно - почему тогда только мой сервачок? :)