Форум Практика оптимизации Любые вопросы от новичков по оптимизации

не индексирует, записи в файле log

D1
На сайте с 11.08.2010
Offline
18
daddy17
357

К сожалению, не смог найти самостоятельно, как научиться просматривать файл logs для отслеживания посещения сайта роботами. По каким признакам они делятся и как различать?

Хочеться понять это и для общего развития, а так же потому что сайт никак не проиндексируется.

И еще вопрос - что может значит - в файле error_log есть такие строчки:

[Sun Dec 26 14:10:35 2010] [error] [client (здесь ip адрес)] File does not exist: /home/(хост)/(домен)/htdocs/www/favicon.ico

и

[Sun Dec 26 02:59:25 2010] [error] [client (здесь ip адрес)] File does not exist: /home/(хост)/(домен)/htdocs/www/kontakti.htm

kontakti.htm никогда не было такой страницы, была kontakti.html, вчера поменял название страницы.

Поменял в sitemap, но в яндекс вручную sitemap не подгружал.

M1
На сайте с 13.02.2007
Offline
165
User
#1

Чем логи ведутся? В Вашем случае ботов можно вычислить по IP, но было бы значительно лучше, если бы учитывался ещё и user-agent.

Указанные ниже строки означают, что к этим файлам был запрос, но самих файлов нет на сервере. favicon.ico это иконка сайта, её запрашивают как браузеры так и поисковики при обращении к сайту, используется для закладок, вкладок, и выдачи в яндексе. kontakti.htm - видимо просто несуществующая страница на Вашем сайте, на которую откуда-то есть ссылка, и бот заглянул туда по этой причине.

Как скрыть JavaScript от Задолбали непонятные роботы Ошибка File does not

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий