Помогите с - http://adstat.rambler.ru/wrds/

да чё уж там, просили бы сразу базу кеев бидовых :)

а вообще ставьте задержку в скрипте, дольше парсить будет, но наверняка, ну или закажите у кодера, мож как-нить через сокеты реализуют такую хрень

В авторизованном режиме тоже есть ограничения на количество запросов (что-то около 50 или больше - точно не скажу). Были случаи, когда приходилось регистрировать до 3-х новых аккаунтов помимо существующего основного, чтобы выполнить все необходимые действия с сервисом (всегда только вручную).

Стучитесь в ICQ или личку, скрипт на Perl имеется, если предложите, что-нибудь интересное, то договоримся.

Ха!

Сам уже пару недель с этим долбаюсь.

Поделюсь некоторыми наблюдениями/соображениями.

Во-первых, авторизация уже ничего не дает. Там уже через несколько запросов вылетает сообщение о превышении допустимого количества запросов. Во-вторых, задержка тоже ничего не дает - там же тоже не дураки сидят;)

Далее.. с недавного времени они ввели шифрование - если посмотрите исходные коды страниц, часть связанная со статистикой представлена в виде JS, где вызываются функции xx('_шифрованная часть_'). Сама функция xx тоже зашифрована. Но это все ерунда - расшифровывается влет.

Так вот.. сегодня, сразу после вчерашних фокусов Яндекса со статистикой, тоже ввели перекодировку.. при чем только на слова запроса. Только в Я используют теперь UTF-8, в Рамблере - KOI-8. При чем! Шифрование отключили для первых несколько запросов - после определенного количества - оно снова включается и программа начинает выдвать левые результаты.

Вот так вот.

Все вышесказанное - чисто по моим наблюдениям и не претендует на истину:) времени разобраться с последними фокусами пока нет...

Да.. и еще.. по поводу обхода ограничений - ИМХО только при помощи прокси. Если программа сбора статистики написана под винду, то есть программки, который меняют прокси по списку через заданное время или по другим условиям. Скармливаете ей рабочий список (читайте - платный) и - вперед.

Грустно, в общем.

Действительно грустно тратить время на обход изощрений Рамблера.

По моим наблюдениям: при регистрации Рамблер дает скачать только 24 страницы. Выдает разные результаты - нешифрованный вывод, шифрованный 1, шифрованный2 + шифрованный с "обманкой", закомментированной в HTML.

Прокси тоже часто не спасают, т.к., видно с этими проксями уже прошелся табун желающих и Рамблер также выдает "зделано много запросов". С хорошего прокси можно сделать только 1-2 запроса, так что все равно много не накачаешь.

Интересно, как обходятся программы типа site-auditor, semonitor. netpromoter?

лень смотреть самому как, но думаю что можно проснифферить их трафик тем у кого они есть. Там станет все понятно.

Не думал, что настолько все запутано с шифрованием. Посмотрел - показалось, что просто изменили метод. Но это все равно ничего не меняет - вытянуть из страницы нужный контент не проблема. Более проблематично для меня обойти ограничение на количество запросов...

Но пробовать все равно буду... Хотя заказчик программы на связь что-то не выходит, уже самому стало интересно)) Будет интересно - отпишусь о результатах.