Автоматические запросы в Яндекс

463

Владимир-C

11 января 2010, 13:44

1295

Пересмотрел изрядное количество постов по теме, и везде рекомендуется для автоматических запросов использовать XML. Такой парсер у меня уже есть, но кое-что не устраивает.

А по поводу парсера через HTML форму люди пишут, что яндекс их банит по IP. Правда, все найденные мною топики написаны довольно давно. А как обстоят дела в настоящее время? Действительно парсеров ли по прежнему банят по IP? И на какой срок?

215

Удивительно

12 января 2010, 01:22

#1

Банят. Ненадолго - примерно на час. Точно не скажу, не засекал.

Если поставить задержку между запросами от 10 сек и юзать разные UserAgent's - можно парсить бесконечно. Но медленно.

Качественная семантика недорого ( https://moab.tools/ )

24

orbea

29 января 2010, 19:41

#2

Удивительно:
Банят. Ненадолго - примерно на час. Точно не скажу, не засекал.
Если поставить задержку между запросами от 10 сек и юзать разные UserAgent's - можно парсить бесконечно. Но медленно.

Сейчас полная жесть! :) недавно пришел домой, открыл Яшу, ввел запрос - новости России, в ответ увидел капчу, и так подряд пять различных нормальных запросов и на все обратно капча. То ли Яндекс забанил подсети провайдера, то ли у них глюкалово какое. Вот и попробуй попарсить 😂

Вышел новый Яндекс Браузер с YandexGPT и YandexART

Переиграть и победить: как анализировать конкурентов для продвижения сайта