Парсер кейвордов из Яндекс Директ

Так как автор скрипта распространяет его в открытом виде, то я взял на себя смелость немного изменить его (совсем чуток).

Изменения:

- база кейвордов записывается без количества переходов (только текст)

- кейворды записываются в выбранный вами файл, причем если файл уже существует, кеи дописываются внизу, не удаляя предыдущие записи (указывать надо полное имя файла, например так: file.txt)

- добавлены мини отчеты после парсинга: Обработан запрос: ууу и Кейвордов в файле: ххх

- данные не сбрасываются из формы после каждого парсинга, что удобнее

Скачать тут - http://f.3-a.net/download/yandex_parser2.rar

Если автор скрипта не против, предлагаю взять эстафету из моих рук и внести свои изменения в скрипт, которые могли бы улучшить его работу.

Например возможные добавления:

- парсинг пакчками, своего рода задания (вместо <input type=text> использовать <textarea>, чтобы вбивать туда нужные запросы по одному на строчке, которые будут обрабатываться по очереди)

- парсинг Что еще искали люди (добавит больше ключевиков в базу)

- лимит по максимальному количеству запросов, для сбора НЧ

- стоп слова (для исключения ненужных кейвордов)

Как вам идея, программисты? Возмемся за написания первого в мире Open Source парсера? Орять-таки если HorrorTM не против =)))

кстати скрипт завис при сборе популярного кея (количество запросов было больше 300.000)

банальная перегрузка?

тогда стоит добавить парсинг небольшими траншами по "мнадцать" запросов/страниц за раз

А можно сделать чтобы он не с директа, а с вордастата парсил?

ЗЫ, Для особо умных комментаторов к репе сделал скрин!

В вордстате на такое никогда не нарывался.

Благодарю за парсер, а Вы можите сделать чтобы он сортировал по частоте на НЧ и ВЧ??

директ и вордстат - одна конфетка, только в разных обертках:

Вордстат и Директ

Да я прекрасно знаю что это одна конфекта, но просто в директе я вчера очень быстро нарвался на каптчу, а в вордстате не видел ни разу. Странно, но все-же...

Да до парсились ...

Народ еще кто-нить на капчу нарывался?

Да, до того как стали юзать пастухова парсили своим скриптом. Скрипту давали работать в виде: выпарсивание n количества страниц с временным промежутком t, после этого давали отдохнуть яндексоидам минут пять, после продолжали. В течении часа-двух работает нормально, а потом интересуется человекоподобностью.

Правда работали без проксей напрямую с сервака, наверное в этом причина была.

Если работать через прокси, примерно 70 страниц ключевиков успевает напарсить (я все вручную делаю) Потом снова каптча лезет... надо постоянно IP менять, но думаю это не выход..

Выход - выход, ip да куки, больше ни хрена они сделать не могут)))