Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Индексируются страницы, которые закрытые в robots.

С
На сайте с 27.10.2010
Offline
5
Сказочка
433

Здравствуйте. Прописала такой robots http://samaja-krasivaja.ru/robots.txt . При этом индексируются страницы вида: http://samaja-krasivaja.ru/feed; http://samaja-krasivaja.ru/krasota-i-uxod-za-soboj/feed . В robots же прописано Disallow: */feed/, значит, они должны быть закрыты? Как мне закрыть эти страницы от индексации?

Мои контакты: ICQ: 615756090 skype: skazzka2302
PC
На сайте с 28.08.2007
Offline
83
PapaCarlo
#1

В какой ПС индекируются?

В http://webmaster.yandex.ru/robots.xml страница

http://samaja-krasivaja.ru/krasota-i-uxod-za-soboj/feed не запрещена для индексации.

С
На сайте с 27.10.2010
Offline
5
Сказочка
#2

И в яндексе, и в гугле индексируются

K
На сайте с 31.01.2001
Offline
737
Kost
#3

Сказочка, следите за руками:

Disallow: */feed/

http://samaja-krasivaja.ru/feed/ - закрыта

http://samaja-krasivaja.ru/feed - не закрыта.

Просто уберите слеш на конце.

P.S. Две строчки дублируют друг друга

Disallow: /*?*

Disallow: /*?

Оставьте вторую.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
С
На сайте с 27.10.2010
Offline
5
Сказочка
#4

Kost, спасибо. Странно, на других сайтах robots аналогичный, но индексировалось всё верно.

S2
На сайте с 19.02.2011
Offline
52
Stream2020
#5

Возможно робот еще не посетил feed страницы на остальных ваших сайтах

С
На сайте с 27.10.2010
Offline
5
Сказочка
#6

Stream2020, другие сайты старше.

S2
На сайте с 19.02.2011
Offline
52
Stream2020
#7

Попробуйте проверить через http://webmaster.yandex.ua/robots.xml

Можно добиться хороших и нужных результатов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий