Парсить выдачу теперь у всех проблема?

123
nocomments
На сайте с 12.11.2009
Offline
189
#11

Да, реально сломалось, и вордстат тоже со второго захода кидает капчу.

а xml - это очевидность, речь же не про него

Это счастливая рефка: {жать сюда} (http://bit.ly/WbMR4O) тому, кто по ней разместит больше всего статей, будет сопутствовать счастье всю его оставшуюся, длинную, обеспеченную жизнь.
[Удален]
#12
nocomments:
Да, реально сломалось, и вордстат тоже со второго захода кидает капчу.
а xml - это очевидность, речь же не про него

Да, Вы правы, простите пожалуйста меня. 🍿

E
На сайте с 04.01.2009
Offline
30
#13
Pavel:
с капчей Яндекс суров стал
У меня скрипт парсил данные с вордстата, на днях решил данные спарсить - постоянно капча выскакивала результат все по нулям, прогер говорит они теперь еще и куки проверяют так что скрипт уже не сможет парсить сервисы Яндекса - затягивают гайки.
Хотя знаю ребят находят решение обхода капчи - так что думаю все это временное препятствие.

У меня такая же проблема. Скрипт обращается к Яндекс Вордстат один раз в сутки с проверкой одного ключевика. И все равно Яндекс выдает ему капчу.

У кого какие идеи? Кто практически смог обойти эту капчу без сервиса анти-капча?

Wmgood.Ru - Мониторинг обменников (http://wmgood.ru) Zameshi.Ru - Смешные приколы со всего интернета (http://zasmeshi.ru)
юни
На сайте с 01.11.2005
Offline
934
#14

Сохраняйте куку, используйте нормальные прокси.

Вообще, переписывайте парсящие скрипты в сторону имитации поведения пользователей - распространённые версии браузеров, сохраннение сессии, нормальные, полные заголовки, парсинг всего, включая картинки и яву, а не только нужный текст, параметры выдачи по умолчанию, а не по 50 позиций с расширенной статистикой, и проверка сохранёнки для каждого места в выдаче, по максимум используйте авторизацию в ПС, ну и т.п.

Информация для размышления: что собирает Яндекс в качестве отладочной информации (для сравнения - удалите личные данные и обновите страницу) - вы небось неиспользуете эту информацию при парсинге? Поэтому и банят:

gif new-1.gif
https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
SR
На сайте с 15.06.2006
Offline
61
SqR
#15

Вчера была проблема... сегодня по моему уже норма... Специально вчера проверил, капча сразу пропадала как включались куки. так что парсим куки, отдаем и будет счастье :)

Увести чужую жену просто, трудно вернуть ее обратно.
[Удален]
#16

Может кто-нибудь готовое решение предложит? Пусть даже за денежку :)

юни
На сайте с 01.11.2005
Offline
934
#17
demonsh:
Может кто-нибудь готовое решение предложит?

Если нужна прокся - в личку. От 50 талеров в месяц.

S
На сайте с 15.12.2006
Offline
38
#18
demonsh:
Может кто-нибудь готовое решение предложит? Пусть даже за денежку :)

site-auditor.ru/download.html

c вас 100000 денег :)

Кто хочет - тот ищет возможности, кто не хочет - ищет причины
[Удален]
#19
юни:
Если нужна прокся - в личку. От 50 талеров в месяц.

Приобрел намедни 10 белых IP московских на выделенных каналах.

Каптча постоянно вылетает при любых интервалах в запросах, так что не вижу смысла в приобретении новых прокси (уже менял пару раз на новые - не помогло).

юни
На сайте с 01.11.2005
Offline
934
#20
demonsh:
Приобрел намедни 10 белых IP

Это не цифра. Цифра начинается порядков от трёх выше.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий