Автоматические запросы в Яндекс.

terraSEO, как представляли юзер-агента?

Сюды:

http://xml.yandex.ru/

http://xml.yandex.ru/

Если Вы парсите настоящую выдачу, то нисколько. Это запрещено Яндексом. Однако, если количество запросов умеренное, обычно IP не банят. Если Вы делаете сотню запросов в день, да еще и с перерывами, да еще и не каждый день, это нормально.

А вот если Вы нашпиговали проверялку низкочастотниками, или задали глубину запросов 100-150 - это уже ненормально. Если скрипт/утилита парсит обычную выдачу - поставьте глубину запросов 20-30 макс и не более 10-15 запросов на сайт и проверяйте не слишком часто. Не мешайте работать Яндексу, у него и так сейчас с нагрузкой проблемы.

Иное дело - честно платить за запросы выдачи в XML. Это не так дорого, но довольно удобно для тех, кому важно проверять много запросов.

через fopen, открывали общую выдачу Яндекса

Интересно еще вот что: у нас в канторе на всех один внешний ip и все постоянно пользуються яндексом, т.е. яндекс смотрит что с нашего ip в день стока запросов (около 1500-2000), почему же нас не банят тогда?

Думаю потому, что система банит хитро. При тестировании Вы сделали кучу обращений через равные промежутки времени с небраузерным юзер-агентом. Это достаточные, на мой взгляд, признаки для того, чтобы насторожить систему, а потом и применить *выборочные* санкции по вышеуказанным признакам.

Есть гигантские локальные сети, у которых один внешний IP. Если бы банили по нему, куча людей несправедливо осталась бы без Яндекса. А Яндекс все-таки старается поступать справедливо, особенно в таких вопросах.

Потому и не кусают (с) Реклама :)

Из своего опыта могу сказать, что рандомный User Agent плюс случайные промежутки между запросами (допустим от 0 до 3 секунд) существенно понижают вероятность бана IP.

ну через fopen user-agent под браузер не замаскировать, а ваша контора заходит хоть и с одного ip, но с разными юзерагентами.

p.s. - лучше (если вы на php делали скрипт) использовать curl, там и юзерагент, и прокси, и куки можно использовать для парсинга.

В принципе к этому и пришли опытным путем, ясно, теперь надо бы добится, чтобы бан был снят, но возможно ли это? Яндекс с недоверием отнесется, к словам "мы больше не будем"?

И остается открытый вопрос, сколько же можно сделать запросов в день, что бы не нагружать Яндекс и не получать соответственно бан..?

terraSEO, в подобной ситуации можно пойти таким путем -

Выдача яндекса транслируется через произвольный сайт с незабаненным IP, и работа ведется именно с ним. В случае бана транслятор можно легко перенести.

А вообще, Яндекс.XML - оптимальное решение специально созданное для задач подобных вашей.