Глючок там может быть, лучше воспользоваться расширенным поиском или оператором #url для поиска всех проиндексированных страниц.
Как же он доберется до текстовой карты, если главной страницы у него в базе нет? :)
Смотреть коды ответа сервера:
Робот только и делает, что индексирует, тем более когда все-таки приходит на сайт. ;)
Есть, нужно проанализировать, какие страницы робот запрашивает и что отдает ему при этом сервер, затем проанализировать, какие страницы робот не берет и посмотреть на местности, что ему может мешать.
Можно поискать IP подсетей Яндекса, но точно сказать, что это был робот, и какой именно, нельзя.
Весна, в настройках вашего сервера стоит формат логов, в котором не пишутся поля Referer и User-Agent, по-моему common, Вам надо попросить хостера установить формат логов в combined, тогда добавятся два поля и в последнем надо будет искать значения User-Agent роботов.
greenwood, тИЦы и прочее в вопросе никак не фигурировали, интересуют методы построения внутренней части поисковой системы, где хранятся данные.
!Иван FXS, просмотрите раздел форума, там давали ссылки на статьи о внутренностях поисковых систем.
Не становится, в данном случае директива проигнорируется, правильно так:
Host: site.ru
http:// указывать нельзя, смотрите примеры неправильно составленных директив Host в мануале Яндекса.
flucky, читайте внимательно инструкцию Яндекса, там все внятно написано.
Если не ссылаться непосредственно на index.html, а только на папку, как у Вас написано, то после замены файла могут измениться только серверные заголовки, что не очень критично.
Если только я правильно понял вопрос.
Я всегда думал, что link popularity --это не что иное, как индекс цитирования (ИЦ), а ссылочное ранжирование -- ранжирование по тексту ссылок, что-то вроде context of links... 😕
Присоединяюсь к поздравлениям.
