Посетил данный семинар, чему искренне рад! Информация четко структурирована, и охватывает все этапы продвижения крупного портала. Узнал интересные методы автоматизации различной монотонной работы. Рассмотрены схемы реализации полной индексации крупного портала, даже для страниц не содержащих текстового контента. Парни из Wikimart вообще продемонстрировали свои разработки в боевом виде. Буду постепенно реализовывать предложенные на семинаре идеи!
У меня приватные анонимные прокси с авторизацией по логину и паролю.
С капчей возникла проблема, т.к. в браузере ИЕ сбились куки на wordstat.yandex.ru и вордстат отдавала капчу при каждом запросе. Зашел в ИЕ на wordstat.yandex.ru была капча, нажал F5, браузер получил и сохранил куки, дальше парсинг вордстата в многопоточном режиме с разумными задержками шел как по маслу, 25к запросов(все частотности) без единой капчи.
Нет пошли, капчей стало меньше тратится и время работы уменьшилось, просто первоначально я думал о другой ротации - при попадении на капчу смена прокси, но не могу сказать какой способ работы был бы быстрее.
Также рекомендую данный сервис, я с помощью их проксей обрабатываю прямую выдачу.
Я до последних дней также не нарывался на капчи вордстата при парсинге в 20к запросов в день со всеми частотностями, в последние же дни невероятное количество капчей выдается.
Каким образом происходит ротация проксей? При каждом запросе меняется прокси (в однопоточном режиме без проксей). В многопоточном режиме с проксями число проксей делится на число потоков и для каждого потока идет ротация своего блока проксей для каждого запроса. При попадании на капчу со включенным антигейтом идет распознование капчи. Я правильно понял?
2-10к в день с частотностями "!слово"?
Как раз такую ротацию я и имел ввиду, чтобы можно было выигрывать от одновременного использования проксей и антигейта.
Что произошло с вордстатом? Раньше Яндекс не выдавал такого страшного количества капчей.
Все таки непонятно работатет ли ротация прокси серверов со включенным антигейтом(число прокси больше числа потоков)? Хотелось бы экономить антигейт, чтобы при попадании на капчу сначала была попытка переключиться на другой прокси.
Прям мысли читаете) Также очень хотел видеть подобную возможность, чтобы использовались прокси превышающие по кол-ву число потоков и при этом использовался антигейт.
j1gs4w88 добавил 08.02.2011 в 23:12
Очень и очень буду ждать!
При добавлении большого числа прокси-серверов, чтобы нажать кнопку сохранить изменения нужно теперь прокручивать ползунок полностью вниз, это не очень удобно.
j1gs4w88 добавил 03.02.2011 в 19:55
Резко обнулился конфиг и выдает разные ошибки при запуске, хотя еще днем активно работал программой. Только у меня такое? Если да выложу скрины ошибок.
