Проблема с robots.txt. Уже устал искать решение.

D
На сайте с 10.02.2010
Offline
20
332

В панели "вебмастер Гугл" пишется "Файл robots.txt, вероятно, является недействительным". Так же указан статус, что он никогда не загружался. При анализе "Посмотреть как Гугл бот" показывает,что все в порядке с ним и он его видит. Ответ 200 и сам файл виден корректно.

Яндекс видит и обрабатывает мой файл полностью, а Гугл упорно не распознает его.

Индексируется сайт Гуглом без проблем. В поиске про robots.txt никаких слов нет.

В строке "Заблокированные URL" стоит цифра 136. Что это значит?

Уже второй месяц так. Почему это может быть? Где только не искал решения - не нашел ответа:(

wwwwww
На сайте с 29.04.2011
Offline
195
#1

Какой код ответа при наборе адрессайт.ру/robots.txt ?

Видишь? Свободная подпись.
D
На сайте с 10.02.2010
Offline
20
#2
wwwwww:
Какой код ответа при наборе адрессайт.ру/robots.txt ?

HTTP/1.1 200 OK

Server: nginx admin

Date: Fri, 19 Oct 2012 06:54:02 GMT

Content-Type: text/plain

Content-Length: 442

Connection: keep-alive

Last-Modified: Thu, 18 Oct 2012 14:18:51 GMT

ETag: "2824cf3-1ba-4cc561104bd48"

Accept-Ranges: bytes

Вот такой ответ

D
На сайте с 10.02.2010
Offline
20
#3

вопрос снят

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий