My Domain Checker - программа для проверки доменов

DA
На сайте с 20.08.2009
Offline
58
#221
Geran:
Понравилась программа. Ещё было бы неплохо добавить проверку на наличие в DMOZ.

Я готов добавить все, что угодно, если будут спецификации.

http://www.mydomainchecker.net/ (http://www.mydomainchecker.net/)
DA
На сайте с 20.08.2009
Offline
58
#222

Добавил наброски фильтров. Их можно использовать для выделения доменов и для фильтрации при загрузке списков.

Вид редактора фильтров:

Количество полей, по которым возможна фильтрация, пока не велико - только даты и символы домена, но немного позднее добавлю все возможные.

Сейчас, включив фильтрацию, можно смело скачивать списки доменов с r01.ru или reghouse.ru.

DA
На сайте с 20.08.2009
Offline
58
#223
юни:
Для платных прокси (и при больших списках) объём этой информации может вылиться в немалую сумму.

А в чем преимущество использования платных прокси?

Я хочу сделать возможность читать whois данные через http, что даст возможность использовать http-прокси, и позволит увеличить скорость обработки списков в разы. Например, сейчас по протоколу whois можно обработать 30 доменов в минуту из-за ограничений whois-сервера. При использовании http скорость увеличится до 30xN, где N - количество прокси.

Я так понимаю, что ты используешь платные прокси, и это не удобное решение для тебя?

юни
На сайте с 01.11.2005
Offline
927
#224
DecAnisimov:
А в чем преимущество использования платных прокси?

ПС частно банят ip за большое количество запросов (а в программе уже сейчас немало плагинов).

DecAnisimov:
это не удобное решение для тебя?

Наоборот (у меня собственный сервис).

Кстати, вот с этим получится наладить интеграцию? Список функций - внизу на главной.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
DA
На сайте с 20.08.2009
Offline
58
#225
юни:
ПС частно банят ip за большое количество запросов (а в программе уже сейчас немало плагинов).

Может быть будет более правильным иметь раздельные списки прокси для проверки whois и для проверки Yandex и Google.

юни:
Наоборот (у меня собственный сервис).

Кстати, вот с этим получится наладить интеграцию? Список функций - внизу на главной.

С каким именно функционалом нужна интеграция?

юни
На сайте с 01.11.2005
Offline
927
#226
DecAnisimov:
иметь раздельные списки

А в чём будет заключаться преимущество такого подхода?

DecAnisimov:
С каким именно функционалом нужна интеграция?

Тут мне трудно сказать. Чтобы софт нормально работал. :) Проще будет поговорить непосредственно с тамошними технарями.

DA
На сайте с 20.08.2009
Offline
58
#227
юни:
А в чём будет заключаться преимущество такого подхода?

Для whois можете использовать бесплатные, поскольку блокировку я контролирую самостоятельно, а для Y и G можете использования платные.

юни
На сайте с 01.11.2005
Offline
927
#228

А сейчас прокси используются для запросов к каким сервисам? Работа ведётся синхронно или независимо (к примеру, если я запускаю 20 потоков, то они будут в работе до тех пор, пока не проверятся все выбранные параметры)?

DA
На сайте с 20.08.2009
Offline
58
#229
юни:
А сейчас прокси используются для запросов к каким сервисам?

К плагинам и к ряду whois серверов, не отдающих данные по протоколу whois.

юни:
Работа ведётся синхронно или независимо (к примеру, если я запускаю 20 потоков, то они будут в работе до тех пор, пока не проверятся все выбранные параметры)?

Не совсем ясен вопрос. Для каждого домена назначается свой поток. Внутри потока данные читаются последовательно, сначала whois, затем плагины (если они не отключены в меню). Если происходит чтение через http, то при каждом отдельном запросе выбирается случайный прокси (если есть прокси в списке и разрешено использование прокси).

юни
На сайте с 01.11.2005
Offline
927
#230
DecAnisimov:
Внутри потока данные читаются последовательно

А можно реализовать одновременное чтение? И добавить поддержку в 50 и 100 потоков?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий