213.180.207.25 - - [21/Feb/2007:16:23:09 +0500] "GET /robots.txt HTTP/1.0" 304 - "-" "Yandex/1.01.001 (compatible; Win16; I)"
213.180.207.25 - - [21/Feb/2007:15:29:09 +0500] "GET / HTTP/1.0" 200 55315 "-" "Yandex/1.01.001 (compatible; Win16; I)"
вот так он все время заходит
помотрел логи - так оказывается основной бот (I) c 20 января приходит ежедневно, а толку ноль!
спасибо
но я туда добавляю чуть ли не каждый день
и основной робот тоже приходит см посты выше
вроде и карта сайта есть а дальше главной он не идет(((((
а сколько ждать примерно?
омновной робот заходит каждый день но только на гланую
когда он доберется до других страниц? почему то, судя по логам, он после просмотра robots.txt наваливает с сайта(((
или в логах не отмечается куда именно заходит бот, может он уже вовсю индексирует (хотя врядли)
да она расходится
лайвинтернет напрмер ведь не учитывает доступ к картинкам на вашем сайте - а логи учитывают
также например доступ в служебные места (адмика движка напрмер)
т.е. он считает только доступ в те места, где он установлен, а в логи сервера пишется все
если собираетесь пользоваться лайвинтернетом как статистическим инструментом, а не просто воткнули его для красоты - поставте код счетчика в самом начале страницы...
хост прописан
редирект я и не ставил, просто спросил
кстати если директива хост прописана то ведь заперещен к индексации сайт без www?
во всяком случае яндекс пишет именно это (верне ошибку 301, а раньше писал что "запрещена индексация")
http://www.yandex.ru/cgi-bin/test-robots?host=pristavki.ur.ru
он уже понял что сайт без ввв - это зеркало ввв и его не надо индексировать
откуда такая уверенность?
сайт с октября
прокачивал через 1ps.ru
+ по региональным уральским каталогам, да и так какие белые сам нашел
+есть в каталоге яндекса с ноября, тиц ему даже насчитали)
вопрос не в том что он не заходит - он заходит причем во всяких реинкарнациях каждый день , но читает главную + роботс и гуд бай(((
остальные то поисковики, даже никому не нужные яху и мсн, индексируют
а вот яндекс не хочет
и нужно ли делать склейку зеркал www.site.ru и site.ru
в .htacces ?
