Как Гугль парсит Яндекс Маркет без капчи?

Скорее всего Яндекс сделал для ботов гугла исключение.

https://support.google.com/webmasters/answer/80553?hl=ru

ну давайте подумаем логично. в чём разница вашего парсера и гугла. наверно в том, что от гугла ЯМ получает "много" пользователей, а от вас только нагрузку на сервер? как же гугл отличает вас от гугла? для начала по user agent.

ах, если бы всё было так просто... любой бы дурак мог бы представляться гуглом и парсить немерянно. но яндекс может ещё и "по ip вычислить"

Спасибо за ссылку - многое проясняет... :-(

Да тут как сказать... :-)

Под моим IP, наверное, пол-Балашихи сидит. Он, IP, хоть и автоматически предоставляется, но по факту не меняется месяцами и годами (от перезагрузки домашнего роутера не зависит).

Так что с данного IP явно идет немало пользователей...

Получается, что "обратный DNS-запрос IP-адреса" Яндекс, скорее всего, выполняет.

Вопрос только как именно - на каждый запрос или только по IP, с которых пришла некая критическая масса запросов?

И как тогда быть в случае, когда под одним IP реально может сидеть дофигища народу?

Дофигища народу - это, значит, у каждого свой браузер и своя сессия.

Интересно, а если создать видимость сидения множества пользователей под одним IP?

Ну, типа, работает действительно много "браузеров", у каждого свои параметры, куки свои.

Кто-то, "для отвода глаз", лазит по смежным ресурсам Яндекса (а то и их парсит, чтоб было :-) ), логинится в почту или куда-то еще, по результатам поиска "кликает" (а заодно, и их парсит :-) ).

А результаты складываются в общую базу...

Какая, интересно, критическая масса пользователей, чтобы IP у Яндекса считался "белым"?

Может, не очень удачный пример, но Гугл, если просто иной раз на него залезть через Йоту, просто как обычный пользователь, сразу же, на первый же запрос капчу выкидывает.

Т.е., возможно, есть некие списки белых/серых/черных IP...

Тогда другой вопрос: а действительно, как симитировать "белизну" IP, с которого идет парсинг?

Или тут уже не отделаться одним компом и нужен кластер серверов и гигабитная оптика? :-)

Может вам просто купить пачку проксей?

Для парсинга маркета яндекса есть Яндекс.Маркет API. Не вижу смысла биться в вебверсию и каптчу, если нужны промышленные масштабы. Это запросы уже давно продают в розницу.

Выше все верно написано по API у меня плагин стоит 3 раза в день парсит все ок никаких проксей

Не хочется платить за использование.

Да понятное дело, что через API - оно проще.

Но у меня, помимо жабы, спортивный интерес, если угодно... ;-)

К тому же, я делаю скрипт так, что он кэширует каждую страницу на диск и в конце-концов у меня должен получиться "снимок" базы Яндекс Маркета.

В общем, (неутешительные) выводы пока такие:

1) Гуглом, судя по всему, прикинуться не получится.

2) "Обелить" IP, с которого идет парсинг, видимо, тоже не получится (если вообще Яндекс ведет такие списки).

Будете платить за каптчи и прокси.

А сколько за API надо платить?

Что дороже прокси или API?

Капча - это оплата, скажем так, по факту (выпадения капчи).

За прокси, насколько я понимаю, придется платить уже что-то вроде "абонентской платы", независимо от того, используется ли сейчас парсер или нет.

Также как и за API - придется платить независимо от того, используется или нет.

Спрогнозировать, как часто будет использоваться парсер - я не могу (да и нафиг надо :-) ).

Получается, что да, платить придется, порядка $1-$2 за 1000 (!) капчей (тогда и только тогда, когда парсер используется; не используется - не платишь).

P.S. И что-то мне кажется, что даже пачка прокси все равно рано или поздно тоже будет вызывать капчу. А если это ОЧЕНЬ большая пачка - то и стоить она может дороже доступа к API. :-)