wolf

А сильно фильтрованное?

Как говорил дедушка Крылов, "у сильного всегда бессильный виноват". Эх, собрались бы все админы, да запретили бы свои сайты на индексацию роботу со звучным именем yandex, вот бы эти пижоны попрыгали бы! Жалко, что этого никогда не будет...

А может они потому плохо воспринимаются, что на них никто не ссылается?

Как всегда, во всем виновато стремление срубить побольше бабла...

А если робота замаскировать под какой-нибуль браузер?

Неправда. Например по запросу продаю компьютер на 11-м месте страница http://www.molotok.ru/?MIval=/catalog/view_item.app&id_sell=368558 ,

на 13-м: http://www.chipinfo.ru/wb/message.phtml?id=29370

Мне все-таки кажется, что link popularity важнее. Во всяком случае мой опыт позиционирования сайтов в Гугле говорит мне об этом. К тому же, я очень часто встречал на первых местах страницы, о которых Гугл говорил (если посмотреть "Сохранено" или "Cashed"), что все ключевые слова найдены в ссылках на эту страницу

Что касается Гугля, то я с JuriC, в целом согласен. В какой-то мере сказанное каксается и Яндекса с Апортом, тоже использующих алгоритмы на основе PageRank. Ссылки с сайтов другой тематики влияют на link populatiry, а стало быть и на положение в результатах поиска, довольно прилично. Мне кажется, что здесь учитывается общий вес (ранг) ссылающегося сайта, а не его вес по тематике ссылки. Google, по-моему, еще обращает внимание на домен, gov, edu и org для него "авторитетнее".

[This message has been edited by wolf (edited 17-09-2001).]

Интересная арифметика, Рамблером серверов проиндексировано больше чем Яндексом, а страниц намного меньше. У Рамблера - в среднем примерно 63 уникальных URL'а на сервер, у Яндекса - 142. Выходит, рамблеровский робот хуже ходит по сайту?

[This message has been edited by wolf (edited 17-09-2001).]

Согласен

[This message has been edited by wolf (edited 17-09-2001).]

Любопытный факт: файл robots.txt на Яндексе написан с ошибкой!

Смотрим A Standard for Robot Exclusion ( http://www.robotstxt.org/wc/norobots.html ):

The Format
The format and semantics of the "/robots.txt" file are as follows:
The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.

Comments can be included in file using UNIX bourne shell conventions: the '#' character is used to indicate that preceding space (if any) and the remainder of the line up to the line termination is discarded. Lines containing only a comment are discarded completely, and therefore do not indicate a record boundary.

The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below. Unrecognised headers are ignored.

User-agent
The value of this field is the name of the robot the record is describing access policy for. ...

Обратите на написание User-agent - слово agent написано с МАЛЕНЬКОЙ буквы!

Смотрим файл http://www.yandex.ru/robots.txt :

User-Agent: *
Disallow: /yandsearch
Disallow: /yandpage
Disallow: /yandbtm
Disallow: /subscribe/view.pl
Disallow: /last20.html
Disallow: /cgi-bin/
Disallow: /yaca
Disallow: /cy
Disallow: /ie3/yandsearch
Disallow: /redir
Disallow: /norobot

Agent написано с БОЛЬШОЙ буквы! Так что робот Вячеслава просто мог и не понять некорректную инструкцию!