Парсинг результатов поисковиков

Можно автоматически отлавливать новые анонимные прокси, которые Яндекс еще не знает, и ходить через них. Через каждые пару десятков запросов робот должен прокси менять, иначе их автомат может и засечь. :)

euhenio,

В конце прошлого года. Незадого до этого помню Я поголовно начал сканирование Инета.

Всего сколько запросов было не знаю - я примерно потом по трафику просчитал что не менее 200 за последний час до отключки. Запросы шли в течении двух дней. Не равномерно, но совершенно точно возрастая в количестве.

Не знаю как сейчас - может и прощают всех подряд налево и направо.

Но вот тогда писал (и не одно) слезные послания с извинениями. В итоге оказалось проще и быстрее IP поменять.

Vyacheslav Tikhonov,

Ага, я до этого не додумался.

Вот только найти быстрый и при этом стабильный анонимный проксик - проблема.

Тогда я сделал скрипт-прокладку, равномерно раскидывающий запросы на несколько серверов (с разными IP) с тем же первоначальным скриптом. И переписывать практически ничего не пришлось.

"Лень - двигатель человека"

Отличная вещь - иметь динамический IP для таких дел.

Для домашних нужд да, но там и такой поток запросов не понадобится.

А для веб-сервера иметь динамический айпи проблематично.

А чем вам XML не угодил?

200 запросов в сутки хватает на многое

Каширин,

Вообще на XML действительно более универсально получается. Правда, по началу у меня большие сомнения были, что выдача по XML и как обычно всегда совпадает.