Не... Тогда бы эта машинка должна была обходить все странички, которые есть в базе Яндекса и ее бы очень быстро засекли, оценили, признали негодной и выдавали бы ей "правильное" содержимое...
Единственно, если только у Яндекса разработан способ вычисления подозрительных на нарушения страниц и выборочная проверка оных... Но тогда опять же машина не должна выключаться - там же не только подозрительных, но и явно клоачных просто горы...
------------------
С уважением,
Андрей Хроленок.
Штука в том, что у Яндекса тоже есть кэши запросов. А еще у него на поиск работает сразу несколько машин, которые могут быть загружены не равномерно... Вот и получается, что к моменту ответа Яндекса, результат может быть в начале не полным. т.к. могла не успеть ответить одна (или больше) из этих машин - такое у них нормой считается. Потом, на других страницах этого запроса, эта неполнота постепенно компенсируется...
А еще Яндекс старается не загружать машины дважды одним и тем же запросом, потому некоторое время и может быть такая странная штука (пока результат лежит в кэшах)
Tracing route to 213.180.194.135 ...[ 7] ( 194.186.0.246 ) [ 151ms] comptek-gw.Moscow.ST.NET [ 8] ( 213.180.192.162 ) [ 151ms] ix2-2-iix.yandex.net [ 9] Request Timed Out[10] Request Timed Out[11] -- Traceroute aborted --
Думаю, это какой экспериментальный вариант был, судя по тому, что машина не работает круглосуточно...
Top100 тоже есть, но и Рамблер оживился...
Сейчас он у нас начал индексировать ранее неизвестный ему сервер. Медленно, правда, но по опыту знаю, что запрегает он всегда по русски... А потом начинается геометрическая прогрессия. В пиковый момент однажды было 11 запросов в секунду.
Впрочем, до Яндекса ему пока далеко... Этот, похоже, на время переиндексации уполовинивает ширину канала... На графике отдачи с сервера покилобайтно просто эдаким перстом выглядит.
Интересно, есть ли у него ограничение резвости?.. А то и до DoS-атаки так недалеко.
Очень советую читать хелпы поисковых систем. Существуют разные требования...
Про русские поисковики: Рамблеру по фигу - он кивордс просто игнорирует, Яндексу - по барабану, чем они разделены, лишь бы был промежуток между словами... Про Апорт с ходу не помню, кажется ему тоже по барабану по варианту Рамблера...
С этим все просто. Эта технология называется cloaking и довольно подробно изложена в статьях этого сайта.
Замечу, что это очень даже наказуемая штука, а т.к. на этом форуме есть представители Яндекса, не удивлюсь, если скоро сей сайт исчезнет из результатов поиска... надолго.
Думаю, я не смогу полно ответить на вопрос, т.к. еще не все изучил на Яндексе, но вот в чем я уверен:
1) Яндекс учитывает ссылки на сайт
1.1) они напрямую влияют на CY (индекс цитирования) и, как следствие, влияют на многие процессы в Яндексе, связанные с Вашим сайтом: внесение его в каталог, переиндексация, положение в результатах поиска (CY мало влияет на результаты поиска, но влияет);
1.2) по другого сайта тексту, являющемуся ссылкой на Ваш сайт, можно найти его. Яндекс больше доверяет тексту в ссылках на Ваш сайт на другом сайте, чем тексту на Вашем сайте, потому это сильный фактор влияния на результаты поиска;
2) обратных ссылок не требуется.
Замечу, что и Апорт тоже сохраняет старый запрос (более того, он хранит всю историю в виде сложного запроса), правда выцепить его чуточку сложнее...
Какой-то Яндекс на этом фоне жадный получается... Хоть бы для нас оставлял старые запросы в URLе, раз самому не нужно...
Не удивлюсь, если здесь ситуация подобна той, что сейчас происходит с Яндексом: существуют не менее 2-х копий базы, одна из которых используется для поиска, а все прочие - для индексации. А синхронизируются они с какой-то небольшой периодичностью (у Яндекса - 2 раза в неделю)...
Просто попробуй проверить еще раз через пару дней...
Волею судьбы мне пришлось поизучать Яндекс, потому могу ответить, думается, достаточно точно на вопросы, которые тут были заданы.
1) Яндекс действительно заносит URL в базу очень быстно (в пределах получаса), но штука в том, что у него есть не менее двух копий базы. Одна используется для поиска, все остальные - для индексаций и переиндексаций. Синхронизация баз происходит где-то два раза в неделю. А возвращается на переиндексацию робот, если на сайт вообще нет ссылок извне (это самый плохой случай: CY = 0), изначально раз в 15-17 дней. Далее, как заявляют создатели, робот пытается подстроиться под периодичность обновлений сайта.
2) Форма, которая видна после добавления ссылки в Яндекс НЕ обязательна для заполнения и нужна, если хочется его так же добавить и в каталог. При добавлении в каталог описание сайта проходит проверку модератором. Добавление происходит в порядке убывания CY сайтов в очереди на оное...
