SocFishing: Если еще актуально, то какая цена вопроса?
Можем помочь быстро, многопоточно спарсить информацию без блокировок. Механизм отлажен.
ЛС.
Нет, уже нашел решение.
AloneSlamer, ну, как минимум проблема в том, что сканер сайтов КД не тянет более миллиона ссылок, чаще меньше. Поэтому надо разбивать проект на десятки поменьше. А что бы запустить этот десяток, нужна уже впс с нормальным количеством оперативы.
А лучше идти не проторенной дорожкой (форум, объявы и рерайт унылых новостей). Сделайте что-то особенное. Возьмите интервью у администрации, сделайте свой фоторепортаж о каком-либо событии или предприятии.
я бы с гораздо большей вероятностью посещал сайт с форумом и объявлениями, нежели с интервью у администрации.
Уверен на 100% - "Кузя" не конкурент и не человек, которого вы чем-то обидели. Он просто психически больной человек, это видно как по манере письма, так и по "методам" и отсутсвию явной мотивации.
У меня мать работала в поликлинике и к ней десятки подобных личностей приходили (нет, она не психиатр, они к ней приходили просто потому, что в поликлинику можно приходить бесплатно, каждый день и капать на мозги). Сам работал в похожем заведении - тоже наблюдал людей с упорством приходящих каждый день и делающих пакости (например порча товара в магазине, ежеджневное задавание кучи одинаковых вопросов консультантам, записи в книгу отзывов).
И никакие разговоры не помогут, применение силы и обращение в полицию тоже, единственный вариант - полностью ограничить их доступ, в вашем случае всеми возможными способами закрыть доступ к сайту.
Было такое же, через пару дней после первой реги в адсенсе. Пытаюсь зайти - кидает на страницу старта, аккаунта нет. Трафик тогда не успел начать лить, так что просто заново зарегистрировался.
Поначалу не банили, через 500к начали банить айпишники, сейчас хваттает буквально на несколько десятков тысяч. Ну а главная проблема - медленный белорусский интернет, поэтому выходит очень медленно. На эти 800к ушло недели 3. Поэтому ищу серверное решение.
Могу за 2000$ спарсить 😂.
Для 10 млн записей это обычная рыночная цена на датамайнинг.
Это в 2 раза выше, чем самая высокая названная цена до этого.
Серверный парсер, 200$.
Тему в общем-то можно закрывать, а то я вижу вы тут уже свои отношения выяснять начинаете.
Если еще актуально, то какая цена вопроса?
Можем помочь быстро, многопоточно спарсить информацию без блокировок. Механизм отлажен.
ЛС.
Нет, уже нашел решение.
AloneSlamer, ну, как минимум проблема в том, что сканер сайтов КД не тянет более миллиона ссылок, чаще меньше. Поэтому надо разбивать проект на десятки поменьше. А что бы запустить этот десяток, нужна уже впс с нормальным количеством оперативы.
А лучше идти не проторенной дорожкой (форум, объявы и рерайт унылых новостей). Сделайте что-то особенное. Возьмите интервью у администрации, сделайте свой фоторепортаж о каком-либо событии или предприятии.
я бы с гораздо большей вероятностью посещал сайт с форумом и объявлениями, нежели с интервью у администрации.
Уверен на 100% - "Кузя" не конкурент и не человек, которого вы чем-то обидели. Он просто психически больной человек, это видно как по манере письма, так и по "методам" и отсутсвию явной мотивации.
У меня мать работала в поликлинике и к ней десятки подобных личностей приходили (нет, она не психиатр, они к ней приходили просто потому, что в поликлинику можно приходить бесплатно, каждый день и капать на мозги). Сам работал в похожем заведении - тоже наблюдал людей с упорством приходящих каждый день и делающих пакости (например порча товара в магазине, ежеджневное задавание кучи одинаковых вопросов консультантам, записи в книгу отзывов).
И никакие разговоры не помогут, применение силы и обращение в полицию тоже, единственный вариант - полностью ограничить их доступ, в вашем случае всеми возможными способами закрыть доступ к сайту.
Было такое же, через пару дней после первой реги в адсенсе. Пытаюсь зайти - кидает на страницу старта, аккаунта нет. Трафик тогда не успел начать лить, так что просто заново зарегистрировался.
Юзайте асинхронный код
Zerber, zebroid, content downloader. Если поизвращаться желаете - Pandora Box и Zennoposter
Поначалу не банили, через 500к начали банить айпишники, сейчас хваттает буквально на несколько десятков тысяч. Ну а главная проблема - медленный белорусский интернет, поэтому выходит очень медленно. На эти 800к ушло недели 3. Поэтому ищу серверное решение.
в браузере
Файл -> Сохранить страницу как...
Повторить 10млн раз?
Каким образом?