Если количество wget выходит за разумные рамки и создаёт существенную нагрузку на сервер, который парсит, то тут и переходится грань. Мне кажется, нужно просто здравым смыслом руководствоваться и не превышать количество запросов, которое в среднем может делать один пользователь на сайте, исходя из посещаемости сайта.
Я на IP, которые в лидерах по количеству запросов с большим отрывом, обращаю пристальное внимание, и если в логах видно, что это неизвестный робот (по User Agent, запрашиваемым файлам и путям хождения по сайту), то сразу блокирую, т.к. кроме лишней нагрузки от таких роботов никакой пользы.
А насчёт абузы - связаться с владельцем сайта, накатавшем её, покаиться и ответить в Hetzner, что вопрос решён. Иногда можно договориться и в белую получать данные от парсящегося сайта, а не в чёрную его парсить, маскируясь под посетителя сайта.
Atom (kimsufi) имеет один диск. Вот, допустим, вы там наразмещали 500 ГБ файлов, а диск сломался (и это не будет удивительно, т.к. нагрузка на диск будет большая). Полного бэкапа понятное дело быть не может (он ведь не каждую минуту делается). И даже если есть частичный бэкап, то 500 ГБ по сети перекачивать не самое быстрое занятие. В итоге получится очередной фотохостинг, живущий пару месяцев и затем исчезающий вместе со всеми размещёнными на нём фотками.
В DC 16 сейчас уже вроде получше стало. А в DC 14, 15 серверы недоступны.
------
В 9:20 у нас в 14, 15, 16 всё заработало. Итого около 10 минут не работало.
И похоже, что 5 минут назад проблемы с сетью возникли и в других DC. Там у нас серверы доступны с переменным успехом...
Если вы владелец PayPal, то там наверно стоит задумываться, у кого именно получать сертификат, т.к. этот сертификат под луппой могут изучать пользователи. Если же у вас обычный интернет-магазин, то подойдёт любой SSL-сертификат, на который не будут ругаться браузеры из-за того, что он выдан неизвестным центром сертификации.
Ведь главное от сертификата, чтобы данные в шифрованном виде передавались, и браузер не ругался. А для этого подойдёт и за 5$ сертификат (достаточно в Гугле "cheap ssl" набрать). Конечно можно заплатить больше и получить сертификат, который делает адресную строку зелёной, но на шифрование данных это не влияет, чисто понты в основном.
http://ru.hetzner.de/ работает.
Да, но для установки у себя на сервере есть только Mibew. Он конечно хорош, но в нём нет Jabber, а постоянно сидеть с открытым окном браузера и следить, не появился ли там посетитель - крайне неудобно.
Неужели никто не сделал ещё простой онлайн-чат (без наворотов, которыми кишат платные версии), чтобы он ставился на свой сервер (не зависеть от глюков сторонних сервисов и не передавать им конфиденциальную переписку) и переписка велась через Jabber или ICQ. Такое никому не встречалось?
Упс, уже ответили. Удалено...
Исходя из такой логики лучше уж вообще Апач или Nginx отключать перед посещением робота, после посещения опять включать :-)
А вообще самое простое в кофиг Nginx'а прописать запрет доступа с IP робота (deny [IP робота];), и не будет он больше нагружать ваш сервер.
Кстати это интересный вопрос. Для иностранцев у них доступны не все конфигурации получается? Только Атомы за 10 евро и серверы за 110 евро? Другие получается инострацам нельзя?
Интересно почему?
