JabbaHutt

Рейтинг
91
Регистрация
31.03.2012
rushter:
Могу за 2000$ спарсить 😂.
Для 10 млн записей это обычная рыночная цена на датамайнинг.

Это в 2 раза выше, чем самая высокая названная цена до этого.

А какое решение если не секрет?

Серверный парсер, 200$.

Тему в общем-то можно закрывать, а то я вижу вы тут уже свои отношения выяснять начинаете.

SocFishing:
Если еще актуально, то какая цена вопроса?
Можем помочь быстро, многопоточно спарсить информацию без блокировок. Механизм отлажен.

ЛС.

Нет, уже нашел решение.

AloneSlamer, ну, как минимум проблема в том, что сканер сайтов КД не тянет более миллиона ссылок, чаще меньше. Поэтому надо разбивать проект на десятки поменьше. А что бы запустить этот десяток, нужна уже впс с нормальным количеством оперативы.

zhitov:

А лучше идти не проторенной дорожкой (форум, объявы и рерайт унылых новостей). Сделайте что-то особенное. Возьмите интервью у администрации, сделайте свой фоторепортаж о каком-либо событии или предприятии.

я бы с гораздо большей вероятностью посещал сайт с форумом и объявлениями, нежели с интервью у администрации.

Уверен на 100% - "Кузя" не конкурент и не человек, которого вы чем-то обидели. Он просто психически больной человек, это видно как по манере письма, так и по "методам" и отсутсвию явной мотивации.

У меня мать работала в поликлинике и к ней десятки подобных личностей приходили (нет, она не психиатр, они к ней приходили просто потому, что в поликлинику можно приходить бесплатно, каждый день и капать на мозги). Сам работал в похожем заведении - тоже наблюдал людей с упорством приходящих каждый день и делающих пакости (например порча товара в магазине, ежеджневное задавание кучи одинаковых вопросов консультантам, записи в книгу отзывов).

И никакие разговоры не помогут, применение силы и обращение в полицию тоже, единственный вариант - полностью ограничить их доступ, в вашем случае всеми возможными способами закрыть доступ к сайту.

Было такое же, через пару дней после первой реги в адсенсе. Пытаюсь зайти - кидает на страницу старта, аккаунта нет. Трафик тогда не успел начать лить, так что просто заново зарегистрировался.

Юзайте асинхронный код

Zerber, zebroid, content downloader. Если поизвращаться желаете - Pandora Box и Zennoposter

Поначалу не банили, через 500к начали банить айпишники, сейчас хваттает буквально на несколько десятков тысяч. Ну а главная проблема - медленный белорусский интернет, поэтому выходит очень медленно. На эти 800к ушло недели 3. Поэтому ищу серверное решение.

Bramin:
в браузере

Файл -> Сохранить страницу как...

Повторить 10млн раз?

а размещение в каталоге на рабочем сайте отдельную тематику может плохо сказаться

Каким образом?

Всего: 160