День добрый.
Пользуюсь программой whic pro достаточно давно. Использовал и для перехвата, когда это было актуально, использовал для мониторинга за своими доменами и для поиска нужных сайтов с нужными параметрами. Очень удобна для работы с большими списками доменов. В последнее время заметил, что как сайт, так и программа стали развиваться гораздо активнее, что очень радует )
Спасибо!
Суд по идее обременение должен накладывать на домены, разве нет?
По личному опыту - не правда. Но от поддоменов я отказался, поддомен по сути - отдельный сайт, со своим колиеством страниц и параметрами, в итоге я получил кучу мелких несерьезных сайтов, вместо одного большого и серьезного. В итоге все переделал на подпапки на одном основном домене, поддомены отключил (редирект на папки основного домена). Часто встречаются пессимизации со стороны ПС, как раз по этой же причине, что вебмастера не делают один серьезный сайт, а кучу бесполезных мелких, ПС рекомендуют (мне письмом Платон писал) переносить все на один основной домен, если это касается его тематики (в моем случае я выносил каждый город России на поддомен, в итоге теперь по папкам).
Раз продавался, значит был авторизован WMID или ЯД. Можно попробовать через арбитраж Телдери выйти на продавца ворованного.
А почему оно должно повлиять? :) Если не ошибаюсь, влияет только на Яка, по зоне домена иногда выставляется регион, у меня домен IN выставлял Индию в панели вебмастера у Яндекса, но это правится руками на нужную. Если не ошибаюсь, на выдачу и индексацию зона не влияет.
Отписался в личку.
Вы, как автор подобной программы, не задумывались над ускорением ее работы, путем отключения ненужных функций и запросов? Думаю данная тема для Вас должна быть также интересна?
Спасибо за ответ, я не этот бан прокси имел ввиду, а чтобы скрипт/программа банила мертвые прокси, смысл через них траф гнать, если они того уже? :) Есть у меня в пользовании программа подобная Вашей, все устраивает, в свое время купил все PRO дополнения и функции, работает на отлично! И как раз там бан прокси есть, работает только через живые прокси. Надеюсь автор программы меня не нагнет за раздачу идей :))
Понял, не подходит, погрешность та же, что и при моем варианте. Запрос будет некоректно обрабатывать домены зарегистрированные, но с пустой записью А типа.---------- Добавлено 30.03.2013 в 23:45 ----------
Почитал немного, действительно DIG рекомендуют как альтернативу whois, проверил, не делегированные домены она все же не понимает :(---------- Добавлено 31.03.2013 в 00:00 ----------Появилась идея! :)
Делаем два прохода:
1. Скан на наличие DNS записей в домене, если есть - занят, если нет - шаг два.
2. Скан домена по whois, если занят - то занят, если свободен - то свободен.
Что даст - значительное уменьшение (в сотни раз, а то и более) количества ненужных запросов к хуиз, нет необходимости подключать прокси или сканировать все 9 источников хуиз.
Что думаете?
Я правильно понял - парсинг хидера страницы домена? Это скорее не проверка домена на занятость, а проверка севрера на доступность. Поправьте если я не прав.---------- Добавлено 30.03.2013 в 22:39 ----------
Это второй оптимальный вариант, но есть пара моментов, лично для меня:
- сложный скрипт с использованием прокси (проверка прокси на бан, работоспособность, подставление нужного прокси, через который обращения еще не было к хуиз серверу, чтобы не забанило). Теоретически можно зауникалить каждый прокси и вести по нему статистику обращений и ответов хуиз сервера. Нужно подумать, возможно облегчит написание.
- стоимость хороших соксов достаточно высока, а пользоваться бесплатными в автомате не получится, придется писать скрипт граббинга и проверки проксей. Тоже вариант, но сложнее чем первый.
Спасибо за мнение. Очень поможет.
Еще варианты? :)
Согласен, потому ДНС отмел сразу.
Большой список доменов.
Периодическая проверка доменов на занятость, выборочно проверка на дату освобождения, тут без хуиз не обойтись, но основной объем все же на просто занятость.
Вся задача :)
