В сниппетах пишет про robots.txt

SeOToM
На сайте с 14.11.2009
Offline
126
964

Заметил такое совсем недавно, раньше никогда не замечал. Собственно в сниппетах пишет: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

В связи с чем у меня вопрос, я что-то не так делаю? Зачем Гугл помещает ссылки в серп, если они закрыты в роботсе?

Digdug
На сайте с 11.07.2012
Offline
119
#1
SeOToM:
Зачем Гугл помещает ссылки в серп, если они закрыты в роботсе?

Потому что на эти страницы есть ссылки с вашего сайта, или других сайтов. Или раньше страницы были открыты для индексации.

SeOToM
На сайте с 14.11.2009
Offline
126
#2

Digdug, хорошо, можно оставить как есть или вырезать из движка все feed"ы которые он подставляет к комментам, статьям и т.д. ?

Ripro
На сайте с 04.11.2006
Offline
144
#3

Та же проблема, страницы входят в индекс, закрыты от индексации в роботс и на странице прописано <meta name="robots" content="noindex, nofollow">, в карте сайта отсутствуют, ссылка на страницу - в скрипте (задать вопрос о товаре).

Digdug
На сайте с 11.07.2012
Offline
119
#4
SeOToM:
Digdug, хорошо, можно оставить как есть или вырезать из движка все feed"ы которые он подставляет к комментам, статьям и т.д. ?

Можно попробовать удалить страницы из результатов поиска через гугл-вебмастер. Там же можно удалить данные из кэшаю

SeOToM
На сайте с 14.11.2009
Offline
126
#5

Digdug, через 90 дней они вернутся. Мне просто хочется удостовериться, что из-за таких страниц, гугл мне потом не влепит какой-нибудь фильтр.

altezzik
На сайте с 06.11.2011
Offline
247
#6

Тоже интересует эта тема. Что делать то с такими страницами?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий