Описание веб-страницы недоступно из-за robots.txt.

K
На сайте с 02.06.2013
Offline
17
1624

И так, при поиске Гугл выдает такую прекрасную надпись:

Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Соответственно не показывается ни заголовок страницы, ни описание из мета-ровным счетом ни-че-го.

Сайт в итоге сидит в "соплях". НО в robots.txt я не вижу ничего криминального, и страницы у меня называются по типу имясайта.ru/skolko-veshat-grammov . В чем проблема? Привожу ниже текст файла robots.txt

User-agent: *

Disallow: /cgi-bin

Disallow: /2013

Disallow: /2014

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /page

Disallow: /page/2

Disallow: /tag

Disallow: /tag/

Disallow: /category

Disallow: /category/

Disallow: /?s=

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /trackback

Disallow: /wp-feed

Disallow: /wp-comments

Что делать?

Tronix
На сайте с 06.01.2009
Offline
84
#1

Сайт в студию

Разработка сайтов (https://nebster.net/create/) || Проверка позиций сайта (http://allpositions.ru/redirect/728) || Лучшие цены на отличные VDS (https://www.ihor.ru/?from=206136)
K
На сайте с 02.06.2013
Offline
17
#2

А в файле robots.txt сейчас все ОК?

Психиатр
На сайте с 16.11.2010
Offline
360
#3

Позакрывали всю пагинацию и категории, в итоге гугл не переходит по страницам. Куда робот должен идти с главной если меню закрыто? Перелинковки нет, страницы с контентом существуют сами по себе.

K
На сайте с 02.06.2013
Offline
17
#4
Психиатр:
Позакрывали всю пагинацию и категории, в итоге гугл не переходит по страницам. Куда робот должен идти с главной если меню закрыто? Перелинковки нет, страницы с контентом существуют сами по себе.

Какие строчки посоветуете убрать? Линки на все страницы доступны с главной, соответственно на страницы с контентом роботом попадает через главную, нет?

Психиатр
На сайте с 16.11.2010
Offline
360
#5

Это то что можно наобум сказать не видя сайта. Тяжело лечить больного по скайпу или телефону.

B4
На сайте с 27.04.2012
Offline
94
#6

по-моему не первая тема уже про то что никаких проблем с robots.txt нет, но почему-то вылезают такие предупреждения. Хотя вроде никто так и не показал сайт.

Tronix
На сайте с 06.01.2009
Offline
84
#7
Психиатр:
Позакрывали всю пагинацию и категории, в итоге гугл не переходит по страницам. Куда робот должен идти с главной если меню закрыто? Перелинковки нет, страницы с контентом существуют сами по себе.

Вы имеете в виду это?

Kleronth:
Disallow: /page
Disallow: /page/2

На нормальном сайте должно быть дополнительное меню, не только пагинация.

В противном случае, далёкие страницы все равно будут индексированы за счет ссылок из тех постов, которые уместились на первой странице. Хоть и на большей глубине.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий