Зависит еще и от размера сайта, на котором ссылка. Бывало, что на сайте несколько десятков тысяч страниц, тогда между переиндексациями даже главной страницы могло проходить 3-4 месяца (а обидно, за ссылку заказчиком было уплачено). Хотя с тех пор алгоритм обхода роботом Яндекса страниц менялся и не один раз, вроде стало получше.
Почему "новый" ? Для кого "новый"? И зачем о нем два сообщения?
http://www.robotstxt.org/wc/exclusion-admin.html - на языке оригинала.
http://www.yandex.ru/info/webmaster2.html - по-русски.
mar, вы бы посмотрели сначала сами, например, сколько страниц вашего сайта знает Гугль.
Это не извне, это изнутри.
Именно совпадение.
Ага, туда же где index.html и т.п.
Лучше, если они склеятся.
Там у них были какие-то фишки с уникальными IP-адресами, или посетителями. В статистике запросов (прогноз) Директа - цифры поменьше, чем "брутто" количество показов. Может из-за этого? Интересно, что ответят.
Если ссылка не найдена на выкачанной странице, а вам очень надо ее найти (или все ссылки с сайта), значит надо выкачать весь сайт.
CreaSoft, посмотрите на свой ник, вам и карты в руки ;)
Кстати, у Semonitora есть демка на 60(!) дней. Вы ее пробовали?
