Parsim.ru - нужна помощь по javascript - для всеобщего блага и всеобщего парсинга :)

http://parsim.ru/

Это будут javascript-букмарклеты на панель ссылок, которые позволяют автоматически скачивать всякие разные вещи без установки программ и выдавать удобные отчёты.

Это возможно за счет того, что скрипт запускается от имени основного окна (букмарклетом, ссылкой на панели ссылок), и тогда такой скрипт сможет иметь доступ к данным с этого домена, сможет открывать разные окна с этого домена по заданию, сможет даже делать последовательный просмотр. Суммировать данные и выдавать табличку под Эксель.

Понятно, что вся выкачка идет из-под вашего логина, с куками и прочим. Поэтому капчи должно быть мало, но для совсем уж массового парсинга это не подходит, - так обычно такие количества и не нужны. Вот нужно пробить, например, сто запросов - и что, для этого какие-то программы ставить или даже покупать? ненене...

Это работает примерно так:

Перетаскиваете себе ссылку букмарклета на панель ссылок

Нажимаете ее - если вы находитесь не на целевом домене, оно предложит туда перейти

Находясь на целевом домене, с которого будете качать - нажимаете еще раз, оно предложит ввести нужные параметры парсинга

Стартуете выкачку. При этом могут запускаться новые окна, их не надо закрывать и в них не надо ничего менять

Когда закончит, оно сообщит.

Про будущее сервисов. Сейчас пробивка частот, потом - контроль позиций по запросам. Вообще, есть множество сервисов, которые хочется парсить из-под логина. И не только поиск - и соцсети, например.

А совсем хорошо было бы завести что-то вроде общего репозитория разных скачивалок.

Сейчас есть тестировочная версия для пробивки частот по wordstat.yandex.ru - но нужна помощь зала, там иногда возникают какие-то ошибки при ожидании загрузки. Сам-то я js плохо знаю, поэтому сейчас загрузка делается так - запускается новое окно и раз в секунду проверяется, прогрузилось ли оно, есть ли доступ к его тексту. Если нет, ждется еще. И какая-то непонятная ошибка иногда возникает. А хорошо было бы просто какое-то событие повесить на полную загрузку текста.

Нужна помощь javascript-знатоков!

Респекты, уважуха гарантированы! :)

Писать приглашаю в емейл etrofimenko@yandex.ru или в тему или в личку

Советы принимаются в любом виде.

В принципе, можно и заказать платно, но тут дополнительно еще разных советов могут накидать по логике работы парсилки :)