С какой скоростью можно чекать домены на предмет тиц?

Имхо, стоит думать в сторону яндексовских кнопок.

Думаю, неплохо будет иметь в вашем скрипте возможность самому менять задержку чеканья.

Вообще задержки в 10 сек хватит, чтобы избежать появления капчи--судя по опыту работы с программой Анадырь, что парсит Яндекс-директ)

А вообще, надо, конечно ставить опыты, меняя значения.

Насчет бана IP-если у вас динамический, просто переподключайтесь, если статический, лучше не экономить на задержке, так как Яндекс вообще непредсказуем, а тут может пойти на принцип)

fhuuz, да не,какая капча. Речь про проверку тиц, а не про выдачу.

Тогда только только бана IP от него избежать)

Неплохо бы наконец выяснить, после скольких запросов

(точно) Яндекс начинает банить)

Я бы на вашем месте не пожалел пары динамических IP)

всё уже написано давно :)

delay(random(4));

то есть от 1 до 4 мс, и то нужно скорее чтоб перерисовались контролы.

парсится ночами, все ок.

Реквест к http://bar-navig.yandex.ru/u?ver=2&show=32&url=*******

замечаний не нашел. все отдает корректно.

кстати, про капчу за парсинг выдачи готов выслушать советы. или увидеть ссылку. сам делаю random(3000)+3000, после 7го запроса пауза 10 сек, после капчи пауза 30 сек. Серавно палит и палит, гад.

00110011, спасибо,посмотрю,что там,но функционал моего скрипта будет несколько больше,чем просто проверка на тиц>0.

Несколько десятков к доменов можно за один раз проверить? Бана не будет?

сотни К отчекал уже, бана нет пока :)

всё работает вопще без пауз

но я бы не расчитывал на бесконечную халяву

яша жадный и фичи свои любит закрывать

00110011 добавил 08.12.2009 в 21:17

> кстати, про капчу за парсинг выдачи готов выслушать советы

не мучайсо, просто вбивай капчу, это единственный выход

Когда меня последний раз интересовал ТИЦ (примерно полгода назад) я эксперементировала с разными способами. Эксперименты с паузами, прокси и прочим мазохизмом не рассматривала в принципе. Был сервер (тогда еще виртуальный) и был десяток дополнительных IP на нем. Их и чередовала. Сначала делала по 1500 запросов с одного IP, никаких проблем не было, но все же уменьшила число запросов до 800, после чего автоматическая смена IP и т.д. Использовала барный метод, т.е. парсила xml. Скорость была 5-6 проверок в секунду, более чем достаточно.

Проверяла до 60k доменов, бана ни разу не видела.

С проверкой IP сложнее, скорость меньше и бан гарантирован )

Каждый IP работает, пока не получит свой смертный приговор '403 Forbidden' (бан). Как получит, в игру вступает следующий IP. В среднем, до бана с одного IP удается сделать 1600-1900 запросов. Как все помрут, начинают вяло дергать гугл на предмет своего прощения (один запрос в 5 минут).

Через два с небольшим часа гугл всех прощает и всё начинается сначала )

Ради испытания проверяла около 200K за сутки. Обычно мне столько не нужно.

С Яндексом можно сделать тоже самое, но необходимости не возникало.