Спарсить большой сайт [10+ млн страниц]

Лучше не пользоваться парсером ссылок в контент довлодере так много мусорных страниц собирается, лучше зайти на сайт и посмотреть как страницы формируются и потом их сгенерировать в генераторе ссылок. Генерим ссылки разделов (категорий), затем парсим ссылки на контент в разделах и поэтим ссылкам парсим сами статьи, анкеты или кино.

бред. там есть фильтр, можно спарсить ссылки практически любого вида.

Если еще актуально, то какая цена вопроса?

Можем помочь быстро, многопоточно спарсить информацию без блокировок. Механизм отлажен.

ЛС.

В чем проблема купить впс и пачку соксов и парсить оттуда ? решение на месяц обойдется примерно в 40 баксов

Нет, уже нашел решение.

AloneSlamer, ну, как минимум проблема в том, что сканер сайтов КД не тянет более миллиона ссылок, чаще меньше. Поэтому надо разбивать проект на десятки поменьше. А что бы запустить этот десяток, нужна уже впс с нормальным количеством оперативы.

Могу за 2000$ спарсить 😂.

Для 10 млн записей это обычная рыночная цена на датамайнинг. 90% софта который вы перечислили просто не справится с этим объёмом.

да Энслон может взять 50 процентов вперед и потом рассказывать про детей новорожденных, про радость отцовства и т.п., кидало короче

Кстати в контент даунлодере можно прикупить каналов вроде.

Xammer2000, Ваше право на мнение. Но если приглядеться, то вначале моей деятельности были сплошь и рядом положительные отзывы, в том числе и от Вас.

Я в топике отписал, что

Готов наверстать и с Вами. Я не подонок и не кидала. Просто бывают разные жизненные обстоятельства. Пишите - компенсирую делом или монетой.

---------- Добавлено 26.04.2014 в 17:35 ----------

Откуда информация о ценах? Я для заказчиков парсил миллионы записей вчетверо дешевле.

А какое решение если не секрет?

если отдача хорошая, 10 лямов это около 12 часов, 200 асинхронных потоков, можем записать результат в базу. блокировок не будет.

по цене выше жесткий демпинг готовы. опыт вилик, порядка полумиллиарда в месяц парсится.

Это в 2 раза выше, чем самая высокая названная цена до этого.

Серверный парсер, 200$.

Тему в общем-то можно закрывать, а то я вижу вы тут уже свои отношения выяснять начинаете.