Key Collector - автоматизированная система анализа семантического ядра. Часть 10

с реального айпи, страница вордстат без проги - доступ запрещен

AnnetCat, Вас забанил Wordstat. Для решения этой проблемы можно попробовать сменить IP-адрес, если он выдается динамически, подключить прокси-серверы или попробовать альтернативный режим сбора через Yandex.Direct (включается в Настройках - Парсинг - Yandex.Wordstat).

Более подробно о всех способах работы с Вордстатом мы написали в статье http://www.key-collector.ru/news/wordstat-direct2.php - их целых 4 штуки.

Для сбора частотностей рекомендуем скоростной 4-й метод сбора: www.key-collector.ru/news/wordstat-direct2.php

MIND, вы читали эти 2-а моих поста, я там просил сделать кой-чего:

/ru/forum/comment/11707984

/ru/forum/comment/11711273

И вот с этим совершенно непонятно.

Добавил скажем 200 штук на проверку, 15 потоков 8000сек задержка. считать закапчёванные плохими, яндекс.поиск - проверка обычная, не профессиональная. Выдало 35 зелёных, указываю реальную задачу - в течение нескольких секунд вылетает 90% на 5-и потоках. И так постоянно, на паблик прокси. Не понятно как прога отсеивает плохие, при тесте прокси - хотелось бы чтобы она гарантированно живые оставляла.

Str256, все читали, спасибо. Проверка выполняется по фактическим результатам. Вылетать на реальных задачах может из-за отличающихся настроек. Чтобы сказать точнее, нужно посмотреть конфиг.

Str256, проблема в том, что рано или поздно, при том, что точно есть живые прокси, вылетает:

Причем в Яндексе через пару часов тоже такое вылетело. Сейчас вроде подобрал настройки или просто повезло, уже три часа шуршит и даже Гугл.

Но я с антигейтом делаю, иначе вылетают IP пачками, если капчи не распознавать. Антигейт копейки стоит, в моем случае.

P.S. Для слов где пустые данные или надпись "нет данных" - имеет смысл отобрать их и прогнать еще раз отдельно?

Имеет. Вообще должно такое на автомате допроверяться, но иногда попадаются стоп-слова.

---------- Добавлено 28.04.2013 в 18:14 ----------

Не уверен. Смотря как проверяется.

Когда яндекс выдаёт каптчу, он её выдаёт не на главной странице, а на странице результатов поиска. Иначе говоря можно зайти на стартовую страницу яндекса совершенно свободно, ввести слово в поиск и нажать переход и только после этого откроется страница с сообщением что типа вы робот и предложением ввести каптчу. Поэтому если прокси проверяется просто на доступ к ya.ru yandex.ru - это ничего не значит, каптчи там не будет если уж IP окончательно не забанен. Надо кидать запрос с каким-то ключём и смотреть что там будет - результат или каптча. Если не будет каптчи - значит проверка пройдена.

MIND, а почему закрыт тикет, но ответа по сути не было. Не очень понимаю. Хотел дописать туда информацию, а гляжу уже закрыт тикет. Непонятно.

Unlock, сами по себе тикеты не закрываются. Вы могли случайно на крестик нажать в конце названия тикета и он закрылся.

Str256, это почти исключено. Прикрепил файлы, написал ответ и отправил его. А потом хотел дописать, но тикет закрыт.

---------- Добавлено 28.04.2013 в 20:37 ----------

Для съема позиций важно чтобы IP были российскими? В смысле чтобы позиции точно определялись.

есть ли в планах создание возможности парсинга сразу ли статистики нескольких сайтов? была бы полезная фикча