Парсер кеев с Wordstat.Yandex "eXlusive psW"

it.netov,

В отдельный. И оставляя кодировку UTF8 с возможностью подгружать парсинг на основе этого файла.

короче, слухай тз.

даём файл с кеями.

варианты парсинга:

1. просто парсинг по списку кеев и сохранение результата в файлы. 1 файл с основными кеями, 2 файл с "что ещё искали со словом". тут всё просто. можно без всяких опций. потом уже руками прогами всё обработаем.

2. ставим галочку и спарсенные кеи очищаются от плюсов, вставляются в конец очереди на парсинг. если в очереди уже есть добавляемые кеи, то повторно не вставляем (дубликаты убираем). добавляются в очередь кеи и очередь парсится так до .... короче пока выпарсится всё (пока недубликатов уже не будет попадаться в вордстате) или пока не остановишь руками.

ну ещё на пальцах - спарсили кеи, по полученным ещё спарсили, по полученным с полученных тоже спарсили, по полученным ..... и так до посинения. все новые кеи добавляются в конец очереди на парсинг. про дубли и плюсы не забываем, ато парсить будем год.

3. ставим галочку и парсится "что ещё искали со словом". плюсы так же убираем. далее напарсенные кеи добавляются в конец очереди так же как в пункте 2, исключая дубликаты.

т.к. в этих кеях будет много мусора, то добавление в очередь парсинга будет происходить по выборке. т.е. указываем что в очередь будут вставляться только кеи содержащие, например, части "порн" "знаком" "секс". "порн" "знаком" "секс" в отдельном файле.

сохранение "что ещё искали со словом" в отдельный файл здесь не нужно.

естесна очередность такая: парсим, убираем плюсы, убираем дубли, вставляем.

рандомная задержка в указанном диапазоне (... сек - ... сек), работа на сервере с закрытым браузером.

заместо галочек в пунктах 2 и 3 можно просто правки в файле конфигурации парсера. имена и пути всех файлов с кеями тоже в этом файле. тогда интерфейс не нужен. запустили парсер из браузера и пошли дальше пить.

вот и всё. больше ничего не надо неизвращенцам.

когда готово будет ? скажи точный срок и сделай к нему и проверь чтобы всё пахало. чтобы не было как у многих что от завтраков и болобольства рвота. я лично готов 10 уе заплатить чтобы всё качественно и в срок.

твой ответ ?

обновлено

Парсинг похожих ключей с теме же настройками автоматом сразу после окончания парсинга введенных руками кеев, всё верно понял?

doorgay, с 1ым ясно; со 2ым ясно; с 3им - сделаю как выше описал в обращении к falkhan, скорее всего.

По поводу сроков, так как пишу на энтузиазме, то и сроков никаких ставить не буду.

ясно. тут таких темок много. заканчивается недоделанным продуктом и исчезновением автора.

doorgay, если софт востребован, то у меня есть интерес его развивать.

это да. только нет интереса ждать когда срок "сегодня начну - хз когда закончу". не в первой просто. участвуешь в развитии продукта, отписываешь баги, а потом что я написал выше.

да я чо... делай.

Сделал новую версию парсера кеев, подробнее тут.

респект за софт - полезная штука.

А можешь сделать чтобы данные выводились прямо на странице? иногда необходимо только увидеть порядок частотности. А постоянно скачивать файл не очень удобно.

Я туплю наверно но как его выключить?)

Я запустил в обычном режиме когда нажимаю остановить он останавливается вот только когда запускаю страницу заново он у меня спрашивает "продолжить?", а варианта не продолжить нет).

C новой версией, возникли проблемы - парсит только одну страницу, т.е. например у кея 40 стр. . а у меня в результатах только одна. Пробовал разные настройки и на разных серверах.