Скрипт глубокого парсинга Яндекс.WordStat

1 234
O
На сайте с 06.11.2008
Offline
23
#31

Ну чтож, потестил я этот скриптик. Свою работу выполняет на отлично, но все же есть несколько недоработок и багов. Кстати, скрипт не сохраняет дубли, что очень удобно.

Из недостатков: сохранение в файл происходит только после окончания парсинга, хотелось бы увидеть паралельный парсинг и сохранение в файл, а то если вдруг каптча выскочит, то придется начинать сначала. Не помешало бы и дать пользователю выбор, сохранять количество запросов или нет. Ну и возможность указать границу запросов, ниже которой не производить повторный парсинг (к примеру, сохранять кеи у которых количество запросов в месяц больше 30, а распарсивать те, у которых больше 100).

В целом, скриптом удовлетворен.

Удивительно
На сайте с 07.07.2009
Offline
215
#32
ozmail:
Ну чтож, потестил я этот скриптик. Свою работу выполняет на отлично, но все же есть несколько недоработок и багов. Кстати, скрипт не сохраняет дубли, что очень удобно.

Спасибо, стараемся :)

ozmail:

сохранение в файл происходит только после окончания парсинга, хотелось бы увидеть паралельный парсинг и сохранение в файл, а то если вдруг каптча выскочит, то придется начинать сначала.

Да, есть такая фишка. Сделаю.

ozmail:

Не помешало бы и дать пользователю выбор, сохранять количество запросов или нет.

Тоже принято.

ozmail:

Ну и возможность указать границу запросов, ниже которой не производить повторный парсинг (к примеру, сохранять кеи у которых количество запросов в месяц больше 30, а распарсивать те, у которых больше 100).

Чуть сложнее, но.... Тоже принято.

ozmail:
В целом, скриптом удовлетворен.

Очень рад :)

Качественная семантика недорого ( https://moab.tools/ )
Удивительно
На сайте с 07.07.2009
Offline
215
#33

Вышла обновленная версия скрипта.

Основное нововведение: сохранение результатов в разные файлы

(каждый запрос транслитерируется и результат парсинга складывается в отдельный файл).

Необходимо создать папку results в папке со скриптом и установить на неё права 777.

Результаты парсинга теперь будут храниться там.

Всем покупателям, кто записался, обновления уже высланы. Кто ещё не успел - зайдите на страницу поддержки, выберите тему обращения "Запрос на обновление продукта", укажите почту, на которую хотите получать обновления, название скрипта и WMID, с которого производилась покупка.

Не забывайте также о лучшей программе по очистке ключевых слов KeyPro, синонимайзере с неплохой базой SynPro, собранной нами коллекции ключевых слов и других наших разработках.

[Удален]
#34

купила скрипт, отлично парсит и на денвере и на удаленном хосте - добавил задание на парсинг и спи спокойно:) особенно хочу отметить высокий уровень поддержки, был затык с кодировкой, автор быстро помог разобраться, в общем маст хэв!

Stormm
На сайте с 10.06.2009
Offline
71
#35

На обычном хостинге скрипт нормально работает, проблем не возникало ?

Как я понял, можно запустить скрипт, выключить компьютер и он будет работать, пока не распарсит всё до конца ?

Можно сделать, чтобы кол-во запросов не сохранялось ?

O
На сайте с 06.11.2008
Offline
23
#36

Stormm, на простом хостинге заработает врятли, там ограничение времени выполнения скрипта стоит.

Как я понял, можно запустить скрипт, выключить компьютер и он будет работать, пока не распарсит всё до конца ?

Можно и так, главное не выключать комп на котором запущен парсинг=)

Можно сделать, чтобы кол-во запросов не сохранялось ?

Можно поковырять код, он довольно простой.

Удивительно
На сайте с 07.07.2009
Offline
215
#37
Stormm:
На обычном хостинге скрипт нормально работает, проблем не возникало ?

На многих хостингах запустить можно, достаточно прописать некоторые инструкции в скрипте. Могу помочь в личке.

Stormm:
Как я понял, можно запустить скрипт, выключить компьютер и он будет работать, пока не распарсит всё до конца ?

Совершенно верно.

Stormm:
Можно сделать, чтобы кол-во запросов не сохранялось ?

Нет, такой опции нет. Но можно после парсинга переименовать файл с результатами в .CSV, открыть в Excel и удалить ненужную колонку.

ozmail:
Stormm, на простом хостинге заработает врятли, там ограничение времени выполнения скрипта стоит.

На большинстве хостингов это ограничение можно обойти.

ozmail:
Можно и так, главное не выключать комп на котором запущен парсинг=)

Верно. Парсинг можно запустить по крону на удаленном сервере и не выключать его, пока парсинг не закончится.

ozmail:
Можно поковырять код, он довольно простой.

Да, код открыт и доступен для любых доработок.

51
На сайте с 18.06.2009
Offline
124
#38

Насколько я понял, работы с ак-сервисом нет? добавишь в ближайших апдейтах? если да - беру.

Bitex.Cash (https://bitex.cash) - моментальный обмен крипты анонимно, в один клик ЧОЧ.РФ (http://чоч.рф) - кириллический сокращатель ссылок TOPQA (http://topqa.ru) - сервис вопросов и ответов
NeoSky
На сайте с 18.01.2008
Offline
147
#39

set_time_limit(0) сразу в скрипт прописать нельзя было?

Из кожи вон, но лезу в ТОП
Удивительно
На сайте с 07.07.2009
Offline
215
#40
5p1tFiRe:
Насколько я понял, работы с ак-сервисом нет? добавишь в ближайших апдейтах? если да - беру.

Да, сделаем в ближайшее время

NeoSky:
set_time_limit(0) сразу в скрипт прописать нельзя было?

А также ignore_user_abort? 😂

Пропишу в следующем апдейте. А пока не забудьте записаться на обновления.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий