Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Глобальная ошибка в GWT - "Некоторые важные страницы блокируются в файле robots.txt"

Doroshev
На сайте с 21.01.2010
Offline
178
Doroshev
933

Столкнулся с проблемой, когда в GWT по многим проектам, высветилось сообщение с ошибкой, мол в robots.txt заблокированы важные страницы. Вот пример:

Суть:

1.В разделе "Посмотреть, как Google bot" ничего не блокируется, все страницы нормально видятся и не блокируются.

2.Из индекса ничего не выпало.

3.Никаких доп.сообщений в консоль не приходило. Пометка сама по многим сайтам выскочила (когда, даже не знаю).

4.Некотрые сайты с такой пометкой нормально проверяются в "Инструмент проверки файла robots.txt", но пометка эта есть.

Это глюк? У кого вылезли такие сообщения? У меня подозрения на символ "*", возможно что-то не так я в роботе пишу?

DC
На сайте с 31.10.2014
Offline
14
DeCeRt
#1

А для чего вы пагинацию закрываете от индексации?

Используйте лучше:

<link rel="canonical" href="http://" />

<rel="next" href="http://" />

<rel="prev" href="http://" />

Яндекс в последних рекомендациях вообще предложил просто для всей постранички делать канонической страницу раздела.

Проблема будет решена.

Doroshev
На сайте с 21.01.2010
Offline
178
Doroshev
#2
DeCeRt:
А для чего вы пагинацию закрываете от индексации?

Используйте лучше:

<link rel="canonical" href="http://" />

<rel="next" href="http://" />
<rel="prev" href="http://" />

Яндекс в последних рекомендациях вообще предложил просто для всей постранички делать канонической страницу раздела.

Проблема будет решена.

У меня она открыта, прев и некст есть =) Это старый робот и старая пагинация.

Кто что по теме ответит? Коме не лень свои вебмастера глянуть?

G
На сайте с 19.03.2011
Offline
42
Ganga
#3

та же проблемка- полечил так

Disallow: /*page

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий