Спасибо за билд.
А можно конкретнее описать, как именно работает:
Как теперь рассчитывать рекомендуется задержки исходя из количества потоков и проксей?
кстати, если додумать, то не стоит ждать пока появится капча - таким образом мы на n-ое время "убиваем" прокси. Лучше, когда поток отработает одно задание, то ему сразу выдается прокся, которая не использовалась дольше всех.
Как пример, имеем 50 проксей и 10 потоков. Задержка (средняя) 1 сек.
1 сек.: 10 потоков отрабатывают (1й десяток проксей)
2 сек: 10 потоков отрабатывают (2й десяток проксей)
3 сек: 10 потоков отрабатывают (3й десяток проксей)
4 сек: 10 потоков отрабатывают (4й десяток проксей)
5 сек: 10 потоков отрабатывают (5й десяток проксей)
далее по кругу
6 сек.: 10 потоков отрабатывают (1й десяток проксей)
7 сек: 10 потоков отрабатывают (2й десяток проксей)
8 сек: 10 потоков отрабатывают (3й десяток проксей)
9 сек: 10 потоков отрабатывают (4й десяток проксей)
10 сек: 10 потоков отрабатывают (5й десяток проксей)
Получается минимум 5 сек задержка между использованием одного и того же прокси!
Единственное - нужно учитывать парамент "дата последнего использования прокси".
А вот, если ожидать, пока на проксе появится капча, то в итоге работа все равно затормозится из-за капчи.
Т.е. если выставляю 10 потоков, а проксей у меня 50, то последние 40 получаются бесполезны? Получается, что даже увеличив кол-во проксей нельзя "ускорить" сбор данных:(
Предусмотрите возможность, чтобы если вываливается капча, но есть свободные прокси, то поток переключается на новый прокси.
пс: кол-во проксей (в отличии от кол-ва потоков) все-таки легче увеличить!
Не знаю писали уже или нет, но все же: а как программа работает с проксями - выбирает их по кругу последовательно, случайным образом или еще как-то?
Не смог добавить ни 1 прокси - вылетает ошибка и программа виснет:(
Как долго ждать 2.0.19?
Порядок добавления.
Не дождался нововведения, о котором просил.
Вроде не самое трудное предложение для реализации: скорее всего id фраз и так записываются, надо вывести столбец просто...
Вы не могли бы отписывать о новых билдах либо на сайте, либо в программе во вкладке Новости?
Пользуюсь раз-два в месяц и всегда приходится идти на форум и смотреть не было ли новых билдов.
Не очень удобно...
скорее да, чем нет
на данном этапе мне бы хватило 2. Если смотреть глобальнее, то для ИМ может потребоваться и большее количество.
Вин 7 32 - полет нормальный. С утра бесперебойно пашет.
По поводу предложения на реформале. Неверно поняли его суть - программа работает с регионами, но я предложил возможность одновременной работы с несколькими регионами (несколько столбцов с частотностями).
В комментариях на реформале отписал пример, но он пока на модерации.
