Бан wordstat.yandex.ru

Народ, у меня вордстат грузится, но по большинству запросов выдает 0 показов (БАЗОВЫХ, без кавычек и !).

Ситуация выглядит очень странно.

купить дипломные - 0 показов

пластиковые окна — 41 показ

минск - 1886 показов

лукашенко - 0 показов

Ну вот не верю я, что в регионе Беларусь может быть 0 показов по запросам Лукашенко и купить дипломные.

Это и есть бан? А почему такой избирательный?

Да, накануне пользовалась КейКоллектором.

Бан wordstat присутствует, при активных запросах, причем может длиться как угодно долго.

Решение - или прокси, или дополнительный альтернативный провайдер с динамическим IP.

Что-то Яндекс серьёзно взялся за блокировку IP-адресов используемых для парсинга вордстата.

Блокирует IP-адреса из-за большого числа запросов к wordstat.yandex.ru

Можно почитать на форуме Яндекс.Директ

Не совсем понятно почему такие жесткие ограничения сейчас вступили в силу?

P.S. Видимо серверов стало не хватать для обработки запросов.🍿

мда, уж. приходится теперь парсить мелкими сериями что не айс ((

кстати никто не знает как в словоебе при проверке частотности после остановки и повторном запуске продолжать а не начинать парсинг заново? в настройках не нашел

Сегодня вордстат начал редиректить на block.yandex.ru, так как парсю частенько с работы отписал им в саппорт, может разбаня ip организации то :)

Сталкивался с таким на прошло неделе. Парсил МАГАДАНом около 1000 запросов. В итоге получил бан: страница вордстата не открывалась. Точно бан, ибо с других айпи сайт открывался. Долго искал куда писать что бы разбанили. Так и не нашел. В итоге решил банально подождать. Примерно через сутки с момента бана айпишник разбанился и вордстат снова стал доступен с этого айпи.

Могу предположить следующее. Скорее всего сервер настроен не на количество обращений с конкретного айпи, а на их частоту. Т.е. банально нужно задержку парсинга нужно ставить больше, скажем я ранее гонял с интервалом 3 секунды, но думаю что стоит поднять до 30-60 секунд. Да, стата будет собираться медленнее в десятки раз. Но кто мешает ставить парсинг кеев скажем на ночь, пока спишь. Солдат спит - сбор кеев идёт. При таком раскладе следующим шагом разработчиков программ сборов кеев будет прикрутка к сборщику прокси серверов. Айпишник меняется постоянно, следовательно бана можно не бояться.

Но в принципе яшка может отрганизовать и бан за кол-во обращений в сутки. Ведь для xml это реализовано и успешно работает. Этот вариант хуже предыдущего. Получится с каждого нового айпи собирать кеи по 1000 запросов, потом меняй айпи и гоняй следующую 1000. Неудобно конечно, но придётся на первое время привыкнуть.

Яшку тоже можно понять. Стата нужна всем сеошникам. И чем дальше, тем каждый школьник сеошник. А ведь вордстат придуман не для для сеошников, а для рекламодателей в директе. Что бы они могли собирать статистику по ключам для рекламы. На нас с вами этот сервис не рассчитан, хотя мы им активно пользуемся.

Баны - это первый шаг. Следующим может быть полное закрытие для посторонних, и открытие только для клиентов (кто приносит денежки в клювике). Так же не исключаю варианта платного безлимитного кол-ва запросов с определенного айпи. Пакетные цены. Скажем 1000 обращений - доллар, 5 тыс - 3 доллара и т.д. Так, по мелочам может, лям-другой в день им накапывать - на плюшки и сервера.

Ладно, пожуём увидим. Чего загадывать то? Но не думать об этих перспективах никак нельзя, ИМХО.

У меня 14к запросов было спарсено, осталось для них нужную частотность определить, прошло только 9к с двух айпи, видимо придётся ещё 3 использовать) Дома так вообще при каждом запросе капчу спрашивает гад :)

Пришел человекопонятный ответ саппорта:

Здравствуйте!

С данного IP-адреса превышено допустимое число запросов (достигнуты лимиты как на час, так и на день), установлена двухдневная блокировка (будет снята завтра в 13 часов). Если необходима работа с большим количеством запросов, рекомендуем использовать соответствующие методы API Директа.

---------------

Видимо у них есть какие-то лимиты :) Так же думаю надо курить, что там за API директа...

Попробуйте наш бесплатный сервис, работает без бана, т.к. работает с вордстатом по апи.

Яша форсит свое апи, в этом нет ничего удивительного.

Ознакомиться с ограничениями на вызовы можно здесь: http://api.yandex.ru/direct/doc/concepts/Restrictions.xml

Любое АПИ - вещь интересная и полезная. Жаль только сейчас более-менее активный движ начали, а не три-четыре года назад, когда к ним ходоки ездили, а из ответов директовцев было только "фи".

Слишком много. 10-12 секунд задержки в Магадане - это весьма жирный запас, можно меньше. Есть способы парсить с нулевой задержкой, без прокси, без динамического IP, без бана. Прокси и Ускоритель парсинга тоже никуда не делись. В общем, поводов для паники нет. По крайней мере до тех пор, пока сотрудники яндекса не читают этот топик, конечно же.