Как узнать пичины неиндексации сайтов?

Друзья, подскажите, какие записи нужно смотреть в логах апача, чтобы понять что делают поисковые роботы на сайте. 😕

Чего искать и на что обратить внимание?

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот

Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов

боты могут приходить и так же легко уходить, если их что то не устроит, либо ответ сервера, либо заголовки, кодировка и прочее.... надо смотреть конкретно....

А где конкретно в файле с логами смотреть? У меня там IP-шники показываются, и линки, которые отдавались. Я так понимаю, нужно что-то ещё...

Пример записи в логах, везде файл логов может по разному называться, часто встречал access.log или просто acess

Внем в каждой строко записи такого типа, разумеется все различны

Расшифровка:

87.250.252.28 - ip,

[14/Feb/2007:07:40:25 +0300] - дата,

"GET / HTTP/1.1" - тип запроса и файл либо директория запрошенная(в данном случае корень домена т.к. /),

200 - код возврата,

30226 - размер отданный в байтах

"-" - тут referer, но боты поисковиков ходят без рефов потому тут пусто.

"Yandex/1.01.001 (compatible; Win16; I)" - useragent вот тут и нужно смотреть ботов.

bleed, спасибо тебе, добрый человек, теперь всё ясно =)

У меня в логах хостера просто useragent был отключен - он не записывался в лог, вот я ничего и не понял - первый раз логи вижу.