Весь адалт

Да, с 15 секундами не банит

А теперь простой расчет

4 ссылки в минуту * 60 минут * 24 часа * 7 дней = 40320

Никак 170к не выходит

о_О

ну значит чуть больше недели :D

в любом случае с проксами выходило дольше

или это у меня такие проксы левые...

У меня тоже с публичными прокси парсит с трудом 7-10к в сутки

Но всё же лучше, чем совсем без них :)

Спалю фишку - у меня провайдер Укртелеком, у которого при каждой перезагрузке модема даётся новый IP. Как только каптча - программно перезагружаю модем, получаю новый IP и парсю без задержек. На одном IP без задержек получается 500-1000 ключевиков отпарсить. Всего 340-400 перезагрузок и дело в шляпе :)

Осталось только разобраться, как же его, собаку, правильно программно перезагружать... Завтра надеюсь запустить в работу новую схему :)

Удивительно, насколько я понял, у тебя интернет работает сразу при включении компьютера? Если я не ошибаюсь, то можно поставить модем в режим работы "мост", и тогда подключение к инету надо будет включать вручную. Соответственно его можно будет разрывать и заново подключать, в итоге будет присваиваться новый айпи адрес.

P.S. У меня так, и айпи меняется после каждого переподключения, занимает это дело 3-5 секунд. Удобно юзать при скачивании со всяких рапид и т.д., где с одного ип можно качать раз в 3 часа или что-то подобное - клацнул пару раз мышкой, подождал 3 секунды и качай дальше.

P.P.S. Сейчас начал дико сомневаться, какой тип подключения стоит у меня стоит :) В общем, всего два возможных, просто поменяй - на форуме УкрТелекома есть минифаки для этого дела :)

Еще D-Link 2640U можно перезагружать по телнету

telnet 192.168.1.1

Login: admin

Password: admin

reboot

На РНР это очень просто делается через сокеты.

Проблема вся в том, что Укртелеком не всегда гарантировано поднимает соединение - и перезагружать модем приходится по нескольку раз.

Насчет моста - тоже мысль, т.к. при перезагрузке роутера инет поднимается 2 минуты (если перезагружать несколько раз, то 2 х несколько), а с бриджем может подниматься за несколько секунд.

Осталось решить, что проще сделать под убунтой - и в бой :)

Дык, если никаких скрытых камней в этом деле нет - то явно второе проще. Командно рубить соединение и опять его запускать. Хз как это делается, возможно через какой-нить батник или что-то в этом роде, просто не сталкивался с этим :) А под линью, человеку, который разбирается в этом, думаю, сделать не проблема.

Раз из 10-20 у меня соединение поднимается только со второго раза, как решение - поставить задержку между повторных подключением 1 секунду, а задержку скрипта в этом месте - 10 секунд. В итоге все должно сработать безошибочно :)

Спасибо, действительно хорошее решение :)

Всё настроил, схема работает как часы.

Если ничего не произойдет - по моим расчетам база будет полностью прочекана за двое-трое суток.

Успейте купить по низкой цене 29$, чтобы бесплатно получить обновления!

Городецкому скидка за идею 50% :)

Очень рекомендую купить базу сегодня.

Так как с утра субботы она подорожает на 20$, ввиду того, что проверка частоты запросов будет закончена.

Пятница - последний день цены 29$. С субботы 49$.

База ключевых слов "Весь адалт" полностью проверена на частотность по Яндекс.ВордСтат.

Исключены запросы с нулевой частотой, в результате чего в базе осталось 232 818 строк.

Формат базы теперь - ключевик;частота

Стоимость базы, как и обещано, возросла до 49$.

Обновления разосланы существующим клиентам.

Спасибо, что работаете с нами!

База "Весь адалт" по-прежнему ждет своих покупателей

Также обновлены все остальные выборки кейвордов - исключены запросы с нулевым по вордстату количеством. Ключевиков стало меньше, но они стали действительно качественными!

Формат каждой выборки - кейворд;частота

Цены на отдельные выборки по-прежнему остались очень низкими!