My Domain Checker - программа для проверки доменов

DA
На сайте с 20.08.2009
Offline
58
#131
юни:
Попробовал работу со RU-списком от r01.ru - программы останавливается из-за переполнения памяти (вылетает окошко "Out of memory") после примерно 40 минут работы, приходится завершать принудительно. В диспетчере процессов на этот момент она занимает больше 2Гб оперативки.

Т.е. список загрузился нормально? Сколько памяти занимала программа после загрузки списка? Что делалось в течении этих 40 мин?

http://www.mydomainchecker.net/ (http://www.mydomainchecker.net/)
юни
На сайте с 01.11.2005
Offline
933
#132

Список да, для двухсот метров (или сколько там) достаточно быстро, с пару десятков секунд. После загрузки точно не засекал, но навскидку порядка пары сотен мегабайт.

После этого шло преобразование, в его процессе и возрастало количество занятой памяти. На момент переполнения была обработана где-то половина списка.

Кстати, обработкой занято только одно ядро процессора, из-за чего она идёт достаточно медленно. Есть, куда расти, в плане многозадачности.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
DA
На сайте с 20.08.2009
Offline
58
#133
юни:
Попробовал работу со RU-списком от r01.ru - программы останавливается из-за переполнения памяти (вылетает окошко "Out of memory") после примерно 40 минут работы, приходится завершать принудительно. В диспетчере процессов на этот момент она занимает больше 2Гб оперативки.

Разобрался с причиной. Дело в том, что при тестировании работы с большими списками я извлекал только имя домена. Список из ru_domains.gz состоит из 3 670 000 домернов, после его загрузки программа занимает 1,2 ГБ памяти. Позднее добавил еще извлечение дат и регистратора. Но вот под эти данные памяти уже не хватает.

Решение проблемы: в файле ExternalLists\r01.ru.ru_domains.gz.dlst нужно изменить строку LineFormat. Нужно заменить <RegistrarOrganisationHandle> на <_RegistrarOrganisationHandle>, также поступить и с остальными параметрами.

В целом программа не предназначена для работы с таким громадным количеством доменов, тут уже надо использовать какую нибудь базу данных.

юни
На сайте с 01.11.2005
Offline
933
#134

Хм... да, теперь открылось быстро, списки видны, работать можно (в памяти так же под два гига, кстати).

Но проблема в том, что сейчас ведь начнутся тормоза при проверке, раз к списку только из доменов будут прибавляться новые параметры? Так можно было бы хотя бы отфильтровать нужные даты, и работать в значительно более узком диапазоне.

А теперь одна проверка (тех же дат) займёт гораздо больше времени.

Дмитрий Удимов
На сайте с 05.05.2010
Offline
274
#135

Добавьте, пожалуйста, поддержку доменов .FM (http://dot.fm/whois/)

Топвизор — аккредитованный регистратор доменов .ru и .рф (https://topvisor.com/ru/domain-registration/) — честная цена 299 руб. за регистрацию и продление.
юни
На сайте с 01.11.2005
Offline
933
#136

1. Хорошо бы сменить в колонках слова "Alexa", "Google" и остальные на соответствующие значки, чтобы уменьшить ширину столбца. Или хотя бы переставить их местами со функциональными терминами.

2. Ошибка при проверке ЯК на склейку (webaero.ru), хотя какая-то специфичная, видимо.

3. Не хватает программе запоминания выбранных стобцов, их ширины и пр., при обновлении релиза.

4. Также желательно указывать релиз прямо в имени скачиваемого архива, для меньшей путаницы.

DA
На сайте с 20.08.2009
Offline
58
#137
юни:
Так можно было бы хотя бы отфильтровать нужные даты, и работать в значительно более узком диапазоне.

Попробуй в LineFormat оставить дату, по которой нужно фильтровать, может быть сработает.

Ditmar:
Добавьте, пожалуйста, поддержку доменов .FM (http://dot.fm/whois/)

Я подумаю над реализацией.

юни:
1. Хорошо бы сменить в колонках слова "Alexa", "Google" и остальные на соответствующие значки, чтобы уменьшить ширину столбца. Или хотя бы переставить их местами со функциональными терминами.

2. Ошибка при проверке ЯК на склейку (webaero.ru), хотя какая-то специфичная, видимо.

3. Не хватает программе запоминания выбранных стобцов, их ширины и пр., при обновлении релиза.

4. Также желательно указывать релиз прямо в имени скачиваемого архива, для меньшей путаницы.

1) Сделаю иконки.

2) Проверю.

3) Это было только один раз при смене формата config-файла. Далее не должно быть.

4) Путаницы с чем?

юни
На сайте с 01.11.2005
Offline
933
#138
DecAnisimov:
Путаницы с чем?

С теми же архивами на диске. Заменять текущий на последнюю скачанную версию не всегда удобно.

Проверяю большой список, пока нареканий нет. А, вот ещё что - можно прикрутить поддержку прокси с авторизацией? Т.е. не только адрес:порт, но и логин с паролем.

DA
На сайте с 20.08.2009
Offline
58
#139

1) Пофиксил баг с Y-клеем.

2) Укоротил названия колонок.

3) Добавил колонки Кол-во символов в домене и Кол-во дефисов в домене

4) Добавил прокси с авторизацией: login:pass@host:port

acefoster
На сайте с 04.04.2010
Offline
15
#140

В проге все отлично, жаль вот только при проверке PR не определяет, хотя и стоит галочка.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий