Key Collector - автоматизированная система анализа семантического ядра. Часть 8.

orka13
На сайте с 28.03.2011
Offline
102
#541
Chyvak:
Или прикрутить перебор прокси в программе - тоже неплохой вариант :)
К сожалению, эта проблема встречается почему-то во многих seo-программах, как бесплатных, так и платных.

Вы все-таки не поняли сути. Как раз при переключении прокси из-за встречи капчи и происходит обрыв парсинга страниц левой колонки словоформ вордстата для конкретной фразы. Если ввести капчу и не менять прокси, то будет продолжаться нормальный процесс.

Или все будет гут, если у нас нет фраз у которых больше 1 страницы в левой колонке (одни низкочастотники).

Продажи шаблона Google-Translate (Гугл Переводчик), скорость: 20 млн ключей/час, с прокси, без API. (http://zennolab.com/discussion/threads/prodazhi-shablona-google-translate.43684/) Переводит ключи, статьи, HTML+PHP файлы (целые сайты, доры) с сохранением верстки!
MIND
На сайте с 08.03.2007
Offline
238
#542
Chyvak:
Или прикрутить перебор прокси в программе - тоже неплохой вариант :)
К сожалению, эта проблема встречается почему-то во многих seo-программах, как бесплатных, так и платных.

Перебор прокси в программе есть. При встрече капчи выполняется ее распознавание. При этом, если в настройках не выставлены дополнительные режимы обработки, то фраза должна продолжить собираться. Т.е. сбор не прекращается.

---------- Добавлено 27.08.2012 в 12:02 ----------

orka13:
Как раз при переключении прокси из-за встречи капчи и происходит обрыв.

В текущей версии ситуация переключения прокси при капче не заканчивает сбор фразы. В этом случае просто выбирается очередной по очереди прокси-сервер и выполняется повторная загрузка страницы.

Key Collector - автоматизированная система анализа семантического ядра (/ru/forum/863504)
C
На сайте с 27.12.2007
Offline
100
#543

Возможно, неясно изложил свои мысли... примерно так вижу:

- парсим левую колонку вордстата (ключ "авто", первую страницу спарсили например)

- вторая страница - при запросе попался нерабочий/заблокированный/забаненный прокси (может стать таковым уже в ходе парсинга) либо вылезла капча

- капчу вручную мы не распознаём и к сервису распознавания не подключены, т.е. если вылезла капча или попался нерабочий прокси, то программа берёт следующий прокси и снова пытается спарсить вторую страницу "авто"

- попытки повторяет "до победы" либо заданное количество раз (в настройках указать)

- если за заданное количество раз спарсить вторую страницу "авто" не удалось - пишет об этом в журнале и переходит к парсингу третьей страницы "авто"

- нерабочие прокси отфильтровывает (условия указываются в настройках: если 1/2/n раз подряд не работает - не использовать n времени, по прошествии n времени - опять n раз не работает - исключить из списка).

Вот как-то так, наверное.

Просто не знаю, как сейчас в КС это организовано, но в Словоёбе этого не нашёл.

MIND
На сайте с 08.03.2007
Offline
238
#544

Chyvak, в Key Collector сейчас обновленный механизм работы. Там в случае ошибки загрузки страницы (мертвый прокси), в случае бана, в случае установленного в настройках пропуска или распознавания капчи программа совершает повторную попытку загрузки страницы через новый прокси-сервер. При этом, если включена деактивация ошибочных прокси-серверов, то она также выполняется на этом этапе.

В слово*бе устаревшая система, которая таких операций не предусматривает.

Василий Колодин
На сайте с 17.12.2008
Offline
250
#545
Версия 2.6.80 (от 25.08.2012):
- исправлен многострачный сбор GA;
- мелкие фиксы.

Забавно, но при беглом прочтении прочел как "многосpачный" 🙄

Юзаю Бегет с 2013 года. Начни юзать и ты: https://beget.com/p64496/ru/hosting/virtual
MyOST
На сайте с 22.01.2006
Offline
559
#546

titaniMOZG, многосрачным он будет когда там многопоточность будет :)

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
[Удален]
#547

Я в аське в игноре чтоле? При сьеме позиций флаг поставь - если яндекс заменяет запрос.

MyOST
На сайте с 22.01.2006
Offline
559
#548
Miha Kuzmin (KMY):
Я в аське в игноре чтоле?

в аську стукнись, а по техвопросам в саппорт!

splish
На сайте с 25.01.2011
Offline
114
#549

1. Как исключить колонки типа "Дата добавления", "Источник слова" и т.п. что бы они при последующих запусках не были видны. Или может можно сортировать их в порядке надобности, перетаскивать каждый раз колонку "Конкуренция" к "Частотности" долго.

2. Где посоветуете покупать прокси.

MyOST
На сайте с 22.01.2006
Offline
559
#550
splish:
1. Как исключить колонки типа "Дата добавления", "Источник слова" и т.п. что бы они при последующих запусках не были видны. Или может можно сортировать их в порядке надобности, перетаскивать каждый раз колонку "Конкуренция" к "Частотности" долго.

http://www.key-collector.ru/datagrids.php#field_visibility_panel - удаление колонок

http://www.key-collector.ru/datagrids.php#saving_datagrid_view - сохранение вида

splish:
2. Где посоветуете покупать прокси.

все что советовали - в банах :(

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий