DecAnisimov

Рейтинг
58
Регистрация
20.08.2009
юни:
А сейчас прокси используются для запросов к каким сервисам?

К плагинам и к ряду whois серверов, не отдающих данные по протоколу whois.

юни:
Работа ведётся синхронно или независимо (к примеру, если я запускаю 20 потоков, то они будут в работе до тех пор, пока не проверятся все выбранные параметры)?

Не совсем ясен вопрос. Для каждого домена назначается свой поток. Внутри потока данные читаются последовательно, сначала whois, затем плагины (если они не отключены в меню). Если происходит чтение через http, то при каждом отдельном запросе выбирается случайный прокси (если есть прокси в списке и разрешено использование прокси).

юни:
А в чём будет заключаться преимущество такого подхода?

Для whois можете использовать бесплатные, поскольку блокировку я контролирую самостоятельно, а для Y и G можете использования платные.

юни:
ПС частно банят ip за большое количество запросов (а в программе уже сейчас немало плагинов).

Может быть будет более правильным иметь раздельные списки прокси для проверки whois и для проверки Yandex и Google.

юни:
Наоборот (у меня собственный сервис).

Кстати, вот с этим получится наладить интеграцию? Список функций - внизу на главной.

С каким именно функционалом нужна интеграция?

юни:
Для платных прокси (и при больших списках) объём этой информации может вылиться в немалую сумму.

А в чем преимущество использования платных прокси?

Я хочу сделать возможность читать whois данные через http, что даст возможность использовать http-прокси, и позволит увеличить скорость обработки списков в разы. Например, сейчас по протоколу whois можно обработать 30 доменов в минуту из-за ограничений whois-сервера. При использовании http скорость увеличится до 30xN, где N - количество прокси.

Я так понимаю, что ты используешь платные прокси, и это не удобное решение для тебя?

Добавил наброски фильтров. Их можно использовать для выделения доменов и для фильтрации при загрузке списков.

Вид редактора фильтров:

Количество полей, по которым возможна фильтрация, пока не велико - только даты и символы домена, но немного позднее добавлю все возможные.

Сейчас, включив фильтрацию, можно смело скачивать списки доменов с r01.ru или reghouse.ru.

Geran:
Понравилась программа. Ещё было бы неплохо добавить проверку на наличие в DMOZ.

Я готов добавить все, что угодно, если будут спецификации.

юни:
В каком смысле? По порядку, как они в ответе от bar-navig идут, к примеру. Или о чём речь?

К примеру, у нас есть два домена, для которых будет выводиться следующая информация:


Домен |Yandex
----------+-------
Домен1.ru |тИЦ 10
|www тИЦ 15
----------+-------
Домен2.ru |тИЦ 15
|www тИЦ 10

Ты выбираешь сортировку по столбцу Yandex. Как сортировать такие данные?

юни:
Да, так компактнее получится, пожалуй.

Тогда у меня встречный вопрос - как делать сортировку?

У меня другое предложение. Я сделаю возможность делать "составные" колонки, которые будут содержать значения любых других на выбор пользователя колонок. Но без возможности сортировки.

юни:
Кстати, всё больше склоняюсь к мысли, что объединять внутри одной колонки все проверки по одному сервису - идея правильная: если сейчас удвоить (для www) количество колонок, то работать станет совсем невмоготу (полезная ширина программы однозначно превысит ширину экрана).

Ты имеешь в виду объединять в одной колонке все параметры одного плагина? Или объединять только один параметр, но по принципу без www/с www?

niceweb:
Можно ли программу юзать на разных компьютерах?

У меня 3 компьютера. Рабочий, ноут, и стационарный комп. 3 версии покупать совсем не вариант. Юзать VDS, на которую купить одну версию, не вариант - VDS надо продлевать.
Спасибо.

Лицензия выдается на человека, а не на компьютер. Можете использовать ее на любом кол-ве компьютеров.

Всего: 375