Мне тоже интересно.
А какое расширение файла?
Увы, это не только не полезно, но и вредно, ни один спамер не ставит в письме свой адрес.
Не ожидал от вас такого...
Лучше бы не поленились в spamcop направить вместе с заголовками.
Для Google, говорят, через серверный редирект передается все, что положено. Для Яндекса - нет.
<a href="/">Главная</a>
Все потеряется. Заводите сразу там, где он будет все время.
Да, за 1.5 минуты стабильно собирал, рекорд был меньше минуты.
Изучал журнал "Наука и жизнь" в 1981 или 82 году, там все было написано, как собирать поэтапно. Потом кубик разболтался, стал заедать и быстро уже не получалось. Лежит где-то, импортный. Потом купил отечественную копию, оказалось фигня.
Конечно, если на этих адресах невозможно восстановить страницы, то надо поставить серверные редиректы (с кодом 301) на этих местах на тот адрес, куда переехал контент.
Вы полагаете, что на каждое обращение к веб-серверу будет запись в логе Primary DNS ?
А как же система кеширования, вторичные DNS ?
Итак, перечислили 3: вес ссылок вообще (аналог PageRank), влияние анкоров, влияние каталога.
Предложите еще факторы, Chikago, непонятно, что еще вы имеете в виду, этого разве мало?
Не обязательно собирать все за один вечер, можно делать перерывы и собрать за неделю.
Разумеется, я не предлагаю собрать ВСЮ статистику, надо головой поработать, составляя запросы в Рамблер.
