нужно награбить 200 тысяч статей, кто возьмется и за сколько

12 3
ПреведSeo
На сайте с 31.10.2008
Offline
151
2822

нужно 200 тысяч статей награбить с 2х источников

чтоб каждая статя в отдельном тхт была ну и конечно же без мусора

желательно быстро и не дорого :)

(_x_)
smiler
На сайте с 22.09.2006
Offline
116
#1

Кинь в личку урлы источников - гляну на сложность работы. Иначе цену назвать не смогу.

Петр Елагин
На сайте с 21.03.2007
Offline
197
#2
ПреведSeo:
нужно 200 тысяч статей награбить с 2х источников
чтоб каждая статя в отдельном тхт была ну и конечно же без мусора

желательно быстро и не дорого :)

в личку отпиши

response
На сайте с 01.12.2004
Offline
324
#3

в типичном случае в пределах полтинника, срок от трех часов.

Однопоточный парсер ключевых слов Магадан (http://magadanparser.ru) (со свистелками) Многопоточный парсер ключевых слов Солнечный (http://sunnyparser.ru) (без свистелок)
X
На сайте с 29.06.2010
Offline
54
#4
response:
в типичном случае в пределах полтинника, срок от трех часов.

полтинника чего? давай тоже гляну .если смогу то помогу.совсем недорого если конечно потянется ...

response
На сайте с 01.12.2004
Offline
324
#5
xoffer:
полтинника чего? давай тоже гляну .если смогу то помогу.совсем недорого если конечно потянется ...

полтинника нефти.

X
На сайте с 29.06.2010
Offline
54
#6
response:
полтинника нефти.

нифига себе .можно магнатом стать))нефтяным

Петр Елагин
На сайте с 21.03.2007
Offline
197
#7
response:
в типичном случае в пределах полтинника, срок от трех часов.

там 1 сайт.

200к за 180 минут имхо не очень) либо в бан влетиш, либо будет 500 в ответах )

spambot
На сайте с 12.12.2008
Offline
55
#8
AlienZzzz:
там 1 сайт.

200к за 180 минут имхо не очень) либо в бан влетиш, либо будет 500 в ответах )

Оставьте технические проблемы технарям, и просто напишите respons'у ;)

Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. (http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454)
moneySEO
На сайте с 20.10.2009
Offline
170
#9
AlienZzzz:
там 1 сайт.

200к за 180 минут имхо не очень) либо в бан влетиш, либо будет 500 в ответах )

)) есть такие штучки как прокси и многопоточность )))

Сервис быстрой индексации ссылок в Google: https://moneyseo.info/speedy-index
response
На сайте с 01.12.2004
Offline
324
#10
AlienZzzz:
там 1 сайт.

200к за 180 минут имхо не очень) либо в бан влетиш, либо будет 500 в ответах )

хз, маркет не жаловался.

ясен перец, что не все сайты позволят так забивать свой канал, но неужели нужно подробно разжевывать каждую деталь? Если источники будут тупить, понадобится больше времени.

чтобы влететь в бан, нужно, как минимум, чтобы система бана существовала в принципе.

я выдал средние значения, основанные на опыте датарамы, для которой проектировал и разрабатывал парсер, который никто не торопится продавать по 99 баксов на каждом углу.

На проект редко уходит более 40 минут работы оператора, на средний проект с нормальными, не плавающими от страницы к странице шаблонами уходит минут 20. Это когда речь идет о выдергивании нормальной базы, описывающей сущности и связи между ними. Если тупо дергать статьи, завернутые к тому же в пряморукие шаблоны, то я даже не знаю... ну минут десять на настройку. С перекурами.

Три часа качать - это менее 20-ти потоков со скоростью урл в секунду каждый. Вас пугают такие цифры? - Выкидывайте свой парсер 🚬

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий