Key Collector - автоматизированная система анализа семантического ядра. Часть 2

кстати, если додумать, то не стоит ждать пока появится капча - таким образом мы на n-ое время "убиваем" прокси. Лучше, когда поток отработает одно задание, то ему сразу выдается прокся, которая не использовалась дольше всех.

Как пример, имеем 50 проксей и 10 потоков. Задержка (средняя) 1 сек.

1 сек.: 10 потоков отрабатывают (1й десяток проксей)

2 сек: 10 потоков отрабатывают (2й десяток проксей)

3 сек: 10 потоков отрабатывают (3й десяток проксей)

4 сек: 10 потоков отрабатывают (4й десяток проксей)

5 сек: 10 потоков отрабатывают (5й десяток проксей)

далее по кругу

6 сек.: 10 потоков отрабатывают (1й десяток проксей)

7 сек: 10 потоков отрабатывают (2й десяток проксей)

8 сек: 10 потоков отрабатывают (3й десяток проксей)

9 сек: 10 потоков отрабатывают (4й десяток проксей)

10 сек: 10 потоков отрабатывают (5й десяток проксей)

Получается минимум 5 сек задержка между использованием одного и того же прокси!

Единственное - нужно учитывать парамент "дата последнего использования прокси".

А вот, если ожидать, пока на проксе появится капча, то в итоге работа все равно затормозится из-за капчи.

MIZER, применимо к яндексу, я думаю проксю стоит менять через каждые 30-35 запросов, т.к. в среднем на 45 запросе она появляется во всей красе, иногда можно бить по 90 запросов без капчи, но более или менее стандартно - 45й запрос

Завтра будет обновление, в котором будут учтены некоторые приоритетные пожелания пользователей.

Прям мысли читаете) Также очень хотел видеть подобную возможность, чтобы использовались прокси превышающие по кол-ву число потоков и при этом использовался антигейт.

j1gs4w88 добавил 08.02.2011 в 23:12

Очень и очень буду ждать!

j1gs4w88, сейчас тестирование проходит...

Смотрим на http://key-collector.reformal.ru/ - реализуем

Версия 2.0.19 (от 09.02.2011):

- в многопоточных функциях добавлена автоматическая ротация прокси-серверов, если их количество превышает количество рабочих потоков функции (для функций, многопоточность работы которых не предусмотрена, ротация сохраняется);

- добавлена возможность настройки вида файла экспорта;

- в "Настройки - Интерфейс - Прочее" добавлена кнопка очистки сортировки в таблицах;

- добавлена принудительная проверка баланса при сборе статистики аггрегаторов SeoPult, WebEffector, Rookee, *********;

- при появлении окна ручного ввода капчи поле ввода находится в фокусе, а кнопка "Продолжить работу" реагирует на нажатие клавиши ввода (Enter);

- при запуске проверяются настройки прокси-серверов в конфигурационном файле (исправлена ошибка XPath, возникающая из-за недостающей в конфигурационном файле колонки "Сервер");

- таблица прокси-серверов настройках ограничена по высоте, что устраняет неудобство прокрутки вкладки для нажатия клавиши "Сохранить";

- исправлена ошибка с восстановлением режима скроллинга из конфигурационного файла после перезапуска программы;

- в фильтре для колонки отметки вновь появились значения True и False;

Стоимость лицензии составляет 35$ на один компьютер, 500$ - брендирование.

Подробней о покупке программы вы можете узнать по ссылке: http://seom.info/buy-key-collector/

Спасибо за билд.

А можно конкретнее описать, как именно работает:

Как теперь рассчитывать рекомендуется задержки исходя из количества потоков и проксей?

Каждый поток вращает "барабан" проксей. У каждого потока своя "обойма" (если речь идет о многопоточной функции).

В преддверии вопросов по экспорту :) - т.к. несколько человек уже написали вопросы по поводу

Экспортируется пустой файл? - загляните в настройки, отмечены ли у Вас столбцы для экспорта

Саша, когда появится дата парсинга? :)