AERA: Попробовал загрузить в программу список на 65 000 доменов — не шмогла :)
Обновил программу. Загрузка (с отключенной сортировкой) занимает пару секунд. Первоначальная сортировка занимает большОе время, на моей системе для списка в 30000 доменов сортировка по имени занимает 30 сек. Но при работе, например выбрана сортировка по дате, обновление происходит мгновенно.
Поскольку для увеличения скорости в программу добавлено множество костылей, могут быть ошибки, которые я не нашел.
Очень желательно сразу же проверять нахождение в Я.Каталоге.
Спасибо, гляну.
Остается открытым вопрос с Google PR.
В принципе, я могу создать некое API, которое позволит подключать внешние плагины к программе, и вы можете написать свое расширение для получения нужной вам информации.
Скачал, открывает действительно долго. Можно ускорить, отключив сортитовку (Ctrl + клик мышью на заголовке любой колонки). Буду оптимизировать загрузку. Но нужно понимать, что whois-сервера имеет весьма небольшие лимиты запросов, например whois.tcinet.ru имеет лимит 30 запросов в минуту (http://www.ripn.net/about/servpol.html#3.2), соответственно что бы проверить 100 000 доменов (без смены IP) потребуется 56 часов. Хотя возможно в твоей ситуации это является нормальным.
Обновил программу. Полностью переписан движок программы, добавлено отображение обработанной информации из whois ответов (выделение желтым), добавлена возможность быстрого добавления одного имени в разных домненах. Пока полноценно работает лишь декодировка русских доменов ru, su и рф, остальные буду постепенно добавлять. Скачать.
seo_trudogolik: Есть модуль на Perl для работы с Whois, можете посмотреть там как реализована поддержка различных доменных зон,
Спасибо, почитаю.
seo_trudogolik: кроме того не забывайте про ограничение на количество обращений за определенный интервал времени...
Я не забываю, но далеко не все пишут свои лимиты прямым текстом на своих сайтах. Познее, когда программа перейдет в более-менее адекватное состояние, сделаю запросы к администраторам whois сервер с просьбой предоставить соответствующую информацию.
dsd2: при скачивании выдает ошибку 404, хотя сам сайт можно открыть.
Пофиксил.
dsd2: Нет контекстного меню для работы с доменом, т.е. нельзя скопировать из главного окна, можно выделить из хуиза и скопировать, но это не совсем удобно.
Сделаю.
dsd2: иногда бывают ероры на целые списки, скорее всего из-за временного бана. До этого список уже был проверен. И статус проверки у таких доменов - успешный....
Сделал кеширование запросов, это должно немного помочь.
Попробовал загрузить в программу список на 65 000 доменов — не шмогла :)
Обновил программу. Загрузка (с отключенной сортировкой) занимает пару секунд. Первоначальная сортировка занимает большОе время, на моей системе для списка в 30000 доменов сортировка по имени занимает 30 сек. Но при работе, например выбрана сортировка по дате, обновление происходит мгновенно.
Поскольку для увеличения скорости в программу добавлено множество костылей, могут быть ошибки, которые я не нашел.
Числовое значение тИЦ можно получить минимум двумя способами:
search.yaca.yandex.ru/yca/cy/ch/www.домен.ru/
bar-navig.yandex.ru/u?show=31&url=http://www.домен.ru
Очень желательно сразу же проверять нахождение в Я.Каталоге.
Спасибо, гляну.
Остается открытым вопрос с Google PR.
В принципе, я могу создать некое API, которое позволит подключать внешние плагины к программе, и вы можете написать свое расширение для получения нужной вам информации.
Жутко нехватает чекера тиц/pr))
Если кините в меня ссылкой на алгоритм получения этой информации, то я не только не обижусь, но и реализую его в программе.
Двое суток — не срок для проверки списка по какому-нибудь словарю.
В смысле сроки устраивают?
Тот же DNA нормально работал с большими списками, попробуй свою прогу тоже оптимизировать.
Не вопрос, оптимизирую.
Выложил список на 100 тысяч РФ, потестируй: http://narod.ru/disk/29377942001/rf_domains.txt.html
Скачал, открывает действительно долго. Можно ускорить, отключив сортитовку (Ctrl + клик мышью на заголовке любой колонки). Буду оптимизировать загрузку. Но нужно понимать, что whois-сервера имеет весьма небольшие лимиты запросов, например whois.tcinet.ru имеет лимит 30 запросов в минуту (http://www.ripn.net/about/servpol.html#3.2), соответственно что бы проверить 100 000 доменов (без смены IP) потребуется 56 часов. Хотя возможно в твоей ситуации это является нормальным.
Попробовал загрузить в программу список на 65 000 доменов — не шмогла :)
Какое максимальное количество доменов она потянет?
Я на таких объемах не тестировал. Выложи куда-нибдуь такой списочек, я потестирую.
Что делал...
Спасибо, пофиксил.
Обновил программу. Полностью переписан движок программы, добавлено отображение обработанной информации из whois ответов (выделение желтым), добавлена возможность быстрого добавления одного имени в разных домненах. Пока полноценно работает лишь декодировка русских доменов ru, su и рф, остальные буду постепенно добавлять. Скачать.
Есть модуль на Perl для работы с Whois, можете посмотреть там как реализована поддержка различных доменных зон,
Спасибо, почитаю.
кроме того не забывайте про ограничение на количество обращений за определенный интервал времени...
Я не забываю, но далеко не все пишут свои лимиты прямым текстом на своих сайтах. Познее, когда программа перейдет в более-менее адекватное состояние, сделаю запросы к администраторам whois сервер с просьбой предоставить соответствующую информацию.
при скачивании выдает ошибку 404, хотя сам сайт можно открыть.
Пофиксил.
Нет контекстного меню для работы с доменом, т.е. нельзя скопировать из главного окна, можно выделить из хуиза и скопировать, но это не совсем удобно.
Сделаю.
иногда бывают ероры на целые списки, скорее всего из-за временного бана. До этого список уже был проверен. И статус проверки у таких доменов - успешный....
Сделал кеширование запросов, это должно немного помочь.