Мониторинг Яндекса

IlVin, Я лично ручками ;)

Отрубили после того как написал скрипт?

После того, как стал скриптом мониторить.

А как часто стали мониторить и в каких количествах? Ведь ситуация обновляется ну раз в неделю. Или надо очень много разных запросов?

"Ему поможет только хинин" (С) Жюль Верн

Если они умеют таких роботов ловить, наверное не поможет ничего. Я такого робота запускал, но достаточно скромно - 5-6 запросов раз в сутки. Вроде с рук сходило.

Мониторил 20 слов через час, по 10 страниц на слово.

Почему так часто - отлаживал скрипт для работы с большими массивами

данных ( мониторил еще Рамблер и Гугль ).

Это безобразие длилось 1 сутки, затем я его прекратил ( с большими массивами данных получились проблемы ), а еще через сутки получил надпись об открытом проксике у себя в сети (отрубили всю подсеть, а не 1 IP адрес ).

Со стороны Гугля и Рамблера - никаких проблем.

А еще на сайте Гугля я нашел Google Web APIs http://www.google.com/apis/

Сравнение политики Гугля и политики Яндекса сделало меня патриотом последнего :-)

Скриптом пользуюсь. Отслеживаю по 40-50 слов за раз, мучая при этом Яндекс (и другие поисковики) в течение где-то 1-го-2-х часов, т.к. делаю промежутки между обращениями к одному поисковику в 5-10 секунд при переходе от страницы к странице + к следующему КС скрипт переходит только после того, как обойдёт все поисковики. Т.е. если на всех поисковиках (рунетовская 4-ка) скрипт удовлетворяется первой страницей, то с новым КС к одному и тому же поисковику обращение происходит через 23-25 секунд. Скрипт запускаю 2-3 раза в сутки после того, как происходит обновление в Яндексе. Проблем не испытывал. Хотя Яндекс и пытался мой комп на предмет прокси проверить :).

Что значит это утверждение? На первых местах в выдаче нет вообще никого?:)

Используй анонимные прокси. Подставляй ручками или с помощью SocksChain.

Бесполезное занятие. Большинство из них уже давно в блок-листе Яндекса. :)