Сервер или VDS для парсинга?

12
cscope
На сайте с 13.02.2005
Offline
525
2373

Народ подскажите, что лучше - арендовать полностью сервер или взять за эти деньги 3-4 vds(чтобы парсить в несколько потоков) ?

Задача - работа парсера выдачи ПС через крон часов по 10-12 в сутки. В среднем один парсер загружает сервак примерно на 3-5%. И еще - если взять сервер и под каждый парсер настроить выделенный ip, смогут ли ПС "вычислить", что парсинг происходит с одного сервака?

Надеюсь вопрос понятен :)

P.S. убедительная просьба не спамить в личку с различными предложениями.

Lipcrus
На сайте с 05.05.2009
Offline
83
#1

Думаю лучше один сервер, возни с настройками будет меньше, чем несколько впс настраивать.

R
На сайте с 03.04.2008
Offline
90
#2

думаю что сервер с кучкой ip будет оптимальнее (я таким путем делал)

если уж очень захотят - конечно вычислить не проблема и обычно ip подряд выделяют, но на практике каждый ip индивидуален и еще ниразу не видел бана пачки, механизмы бана, каптч и тд работают для каждого ip отдельно

ICQ: 577-662-540 продвижение сайтов за еду (/ru/forum/480944) продвину Ваш сайт за 3000/мес. Портфолио по запросу
РИА
На сайте с 30.07.2006
Offline
208
#3

Я за VPS и множество разных IP на этих VPS.

Надежнее будет.

Все услуги хостинга (http://www.park-web.ru). Москва, Казань, Новосибирск, Чехия. Работаем с юридическими лицами.
MR-Servers.com
На сайте с 13.04.2011
Offline
41
#4

РИА "Бизнес вектор", Чем будет ВПС с множеством Ip надежее сервера с таким же количеством ip ???

Я бы посоветовал как вариант сервер в сочетании с каким-нибудь прокси-сервисом

MR-Servers.com - виртуальный хостинг, выделенные серверы и VDS в разных странах мира. (http://mr-servers.com)
ENELIS
На сайте с 29.08.2008
Offline
194
#5

Нет, доказать причастие одного сервера по IP у них не выйдет. Разве что только косвенно, но если все порты закрыть, врубить блекхоллинг и отключить сервисы на портах, то проблемы не будет.

С Уважением, ServerAstra.ru (https://serverastra.com) - VPS и выделенные сервера в Будапеште по выгодным ценам!
globalmoney
На сайте с 09.12.2005
Offline
390
#6

Так же не стоит забывать, что все исходящие соединения будут идти с основного ip сервера.

MGNHost.ru - полный комплекс хостинг услуг ( https://www.mgnhost.ru ) VPS/VDS на SSD дисках в России / Нидерландах / США от 210 рублей ( https://www.mgnhost.ru/vds.php )
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#7
cscope:
Народ подскажите, что лучше - арендовать полностью сервер или взять за эти деньги 3-4 vds(чтобы парсить в несколько потоков) ?
Задача - работа парсера выдачи ПС через крон часов по 10-12 в сутки. В среднем один парсер загружает сервак примерно на 3-5%. И еще - если взять сервер и под каждый парсер настроить выделенный ip, смогут ли ПС "вычислить", что парсинг происходит с одного сервака?

Надеюсь вопрос понятен :)

P.S. убедительная просьба не спамить в личку с различными предложениями.

Если вы говорите 3-5% то в чем проблема содержать все на 1м сервере? 12-20% нагрузки всего то получается, если 4 VPS собрать.... По поводу вопроса про IP, вычислить не реально, за исключением общей подсети, потому как провайдер любой даст вам только свои сети по сути, но достоверно узнать одна это машина или несколько можно только если она сама будет об этом рассказывать, в других случаях нет возможности выяснить одна или несколько.

Romka_Kharkov добавил 13.07.2011 в 17:45

ENELIS:
врубить блекхоллинг

Вы имеете ввиду tcp/udp ?

Romka_Kharkov добавил 13.07.2011 в 17:46

globalmoney:
Так же не стоит забывать, что все исходящие соединения будут идти с основного ip сервера.

Да ну ладно, это от софта зависит который формировать запросы будет..... Или вы хотите сказать что имя 200 алиасов на сервере я не смогу отправлять с них ничего , а только с главного? Даже в "ping"-е есть ключ для указания SRC ;)

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
ENELIS
На сайте с 29.08.2008
Offline
194
#8

Да tcp udp, чтобы netcat не смог понять кто откуда.

Потом на остальные IP сделать запрет на все порты, кроме устанавливаемых Вашим софтом. И сделать порт клоакинг и tcp клоакинг

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#9
ENELIS:
Да tcp udp, чтобы netcat не смог понять кто откуда.
Потом на остальные IP сделать запрет на все порты, кроме устанавливаемых Вашим софтом. И сделать порт клоакинг и tcp клоакинг

+100500 никак иначе.

IS Andrew
На сайте с 13.01.2006
Offline
338
#10

Для хорошего парсинга в идеале использовать много уникальных IP, иначе вероятность бана очень велика. Где взять много уникальных IP? Например, приобрести у нас подписку на соксы https://cp.inferno.name/cart.php?gid=6

Либо на 24 часа, либо на другой срок. Знаю, у нас многие клиенты используют такую схему и более чем давольны результатом. Если есть интерес - можем предоставить тестовый WinVPS и соксы на сутки для проверки эффективность для ваших задач, а там уже сделаете выводы и возможно эта тема утратит свою актуальность )

is*hosting - профессиональный провайдер с глобальным присутствием.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий