Все вопросы по robots.txt

bulatbulat48, вопрос немного заденет не только роботс.

Вот есть роботс и в нем закрыты определенные папки. А вот создала я сайтмап. И там же есть страницы которые я в роботс закрыла. Но это же не катастрофично что они там есть верно? Не буду же я их вручную с сайтмап стирать, для этого же роботс и создала.

Разные поисковики по разному индексируют, для google роботс носит информационных характер. Так что лучше делать все правильно, или делать такие костыли и тогда тестить.

Подскажите пожалуйста, есть немного лишних url разного типа проблемности, думаю как лучше исправить ситуацию.

Вот они:

1)

http://site.com/propos/xxxx

http://site.com/propos/yyyy

http://site.com/propos/zzzz

Их порядка 15-ти.

Все они открываются, но показывают содержимое только http://site.com/propos, под их адресами никаких страниц не предусмотрено. То есть, эти url не нужно показывать а только http://site.com/propos.

Думаю закрыть в роботс так: Disallow: /propos/*

У кого какие варианты?

Еще нужно забрать страницы у которых /ru дубли страниц

Оригинал http://site.com/xyz/xy

Дубль http://site.com/ru/xyz/xy

думаю Disallow: */ru/*

Правильно ли так?

И еще есть страницы дубли со слешем вконце.

Как их то закрыть?

bulatbulat48,

Подскажите пожалуйста правильно ли я указала варианты закрытия в своем верхнем сообщении?

1. Так попробуйте, должно сработать

Disallow: /propos/*

Allow: /propos/$

2. Директива Disallow: */ru/* закроет все дубли

3. в роботсе никак, делайте общий 301й редирект

Я слышал что для вордпресс есть стандартных robots, закрывающий админку и данные пользователей. Подскажите, где код можно скопировать?

sirkp,

Вот думаю

Закрыла я в robots.txt все что после /propos/, удалю из сайтмап такие страницы, и еще и 301 напишут что бы все что /propos/xyz на /propos/ кидало. Это не слишком, или так и должно быть, полный комплект так сказать)?.

Кстати попробовала

Disallow: /propos/*

Allow: /propos/$ и Allow: /propos/ и Allow: /propos$ - все ровно /propos/ тоже закрывает. (((

Вообще и редиректа бы хватило, но и остальное не навредит.

Странно, потому как у меня все корректно:

Я проверяла Netpeak Spider, показывало что та страница закрыта. А вот этот скриншот, это чем вы проверили?

https://webmaster.yandex.ru/robots.xml