DecAnisimov

Рейтинг
58
Регистрация
20.08.2009
AERA:
Попробовал загрузить в программу список на 65 000 доменов — не шмогла :)

Обновил программу. Загрузка (с отключенной сортировкой) занимает пару секунд. Первоначальная сортировка занимает большОе время, на моей системе для списка в 30000 доменов сортировка по имени занимает 30 сек. Но при работе, например выбрана сортировка по дате, обновление происходит мгновенно.

Поскольку для увеличения скорости в программу добавлено множество костылей, могут быть ошибки, которые я не нашел.

юни:
Числовое значение тИЦ можно получить минимум двумя способами:

search.yaca.yandex.ru/yca/cy/ch/www.домен.ru/
bar-navig.yandex.ru/u?show=31&url=http://www.домен.ru

Очень желательно сразу же проверять нахождение в Я.Каталоге.

Спасибо, гляну.

Остается открытым вопрос с Google PR.

В принципе, я могу создать некое API, которое позволит подключать внешние плагины к программе, и вы можете написать свое расширение для получения нужной вам информации.

Espinosa:
Жутко нехватает чекера тиц/pr))

Если кините в меня ссылкой на алгоритм получения этой информации, то я не только не обижусь, но и реализую его в программе.

AERA:
Двое суток — не срок для проверки списка по какому-нибудь словарю.

В смысле сроки устраивают?

AERA:
Тот же DNA нормально работал с большими списками, попробуй свою прогу тоже оптимизировать.

Не вопрос, оптимизирую.

AERA:
Выложил список на 100 тысяч РФ, потестируй: http://narod.ru/disk/29377942001/rf_domains.txt.html

Скачал, открывает действительно долго. Можно ускорить, отключив сортитовку (Ctrl + клик мышью на заголовке любой колонки). Буду оптимизировать загрузку. Но нужно понимать, что whois-сервера имеет весьма небольшие лимиты запросов, например whois.tcinet.ru имеет лимит 30 запросов в минуту (http://www.ripn.net/about/servpol.html#3.2), соответственно что бы проверить 100 000 доменов (без смены IP) потребуется 56 часов. Хотя возможно в твоей ситуации это является нормальным.

AERA:
Попробовал загрузить в программу список на 65 000 доменов — не шмогла :)
Какое максимальное количество доменов она потянет?

Я на таких объемах не тестировал. Выложи куда-нибдуь такой списочек, я потестирую.

jaypi:
Что делал...

Спасибо, пофиксил.

Обновил программу. Полностью переписан движок программы, добавлено отображение обработанной информации из whois ответов (выделение желтым), добавлена возможность быстрого добавления одного имени в разных домненах. Пока полноценно работает лишь декодировка русских доменов ru, su и рф, остальные буду постепенно добавлять. Скачать.

seo_trudogolik:
Есть модуль на Perl для работы с Whois, можете посмотреть там как реализована поддержка различных доменных зон,

Спасибо, почитаю.

seo_trudogolik:
кроме того не забывайте про ограничение на количество обращений за определенный интервал времени...

Я не забываю, но далеко не все пишут свои лимиты прямым текстом на своих сайтах. Познее, когда программа перейдет в более-менее адекватное состояние, сделаю запросы к администраторам whois сервер с просьбой предоставить соответствующую информацию.

dsd2:
при скачивании выдает ошибку 404, хотя сам сайт можно открыть.

Пофиксил.

dsd2:
Нет контекстного меню для работы с доменом, т.е. нельзя скопировать из главного окна, можно выделить из хуиза и скопировать, но это не совсем удобно.

Сделаю.

dsd2:
иногда бывают ероры на целые списки, скорее всего из-за временного бана. До этого список уже был проверен. И статус проверки у таких доменов - успешный....

Сделал кеширование запросов, это должно немного помочь.

Всего: 375