sirkp,
Вот думаю
Закрыла я в robots.txt все что после /propos/, удалю из сайтмап такие страницы, и еще и 301 напишут что бы все что /propos/xyz на /propos/ кидало. Это не слишком, или так и должно быть, полный комплект так сказать)?.
Кстати попробовала
Disallow: /propos/*
Allow: /propos/$ и Allow: /propos/ и Allow: /propos$ - все ровно /propos/ тоже закрывает. (((
bulatbulat48,
Подскажите пожалуйста правильно ли я указала варианты закрытия в своем верхнем сообщении?
Только этим не поможешь тут нужно все в комплексе. Чем быстрее сделаешь тем быстрее будет. Конечно все после апов.
Подскажите пожалуйста, есть немного лишних url разного типа проблемности, думаю как лучше исправить ситуацию.
Вот они:
1)
http://site.com/propos/xxxx
http://site.com/propos/yyyy
http://site.com/propos/zzzz
Их порядка 15-ти.
Все они открываются, но показывают содержимое только http://site.com/propos, под их адресами никаких страниц не предусмотрено. То есть, эти url не нужно показывать а только http://site.com/propos.
Думаю закрыть в роботс так: Disallow: /propos/*
У кого какие варианты?
Еще нужно забрать страницы у которых /ru дубли страниц
Оригинал http://site.com/xyz/xy
Дубль http://site.com/ru/xyz/xy
думаю Disallow: */ru/*
Правильно ли так?
И еще есть страницы дубли со слешем вконце.
Как их то закрыть?
С удовольствием. Подскажите пожалуйста источники.
Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.
https://help.yandex.ru/webmaster/error-dictionary/robots-txt.xml
https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host
Ну а в конце сначала Host, потом Sitemap.
Все ровно немного приоритета дает.
bulatbulat48, вопрос немного заденет не только роботс.
Вот есть роботс и в нем закрыты определенные папки. А вот создала я сайтмап. И там же есть страницы которые я в роботс закрыла. Но это же не катастрофично что они там есть верно? Не буду же я их вручную с сайтмап стирать, для этого же роботс и создала.
Я этой программкой создаю сайтмап. А вы тоже? Пробовала и сайтмап генератор, го он, как начнет генерировать, пол дня ждать надо.
А может все же прогнать чуть? А то естественным долговато будет.