Все вопросы по robots.txt

не будет индексироваться

Прояснили бы почему не будет, и что надо сделать для индексирования.

А что конкретно пояснить?

Disallow - запрещает

* - любые символы

? - ищет данный символ, слева и справа *(любые символы)

В robots.txt есть строчка Disallow: /*?*

Будет ли индексироваться страница http://site.ru/catalog_content/faq/?CATEGORY_ID=1080

Помогите, пожалуйста, с роботсом.

Нужно разрешить все Яндексу и Гуглу, остальных прибить.

такой вариант:

нормальный ???

Должно быть так:

User-Agent: Yandex

Allow: /

User-agent: Googlebot

Allow: /

User-Agent: *

Disallow: /

User-agent: MJ12bot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: bingbot

Disallow: /

User-agent: msnbot

Disallow: /

потом в панелях управления проверьте на всякий случай.

Здравствуйте, проверяю роботс валидатором http://tool.motoricerca.info/robots-checker.phtml.

Файл такой примерно:

User-agent: *

Disallow: всякое указанно

Disallow: всякое указанно

Disallow: всякое указанно

Allow: одна папка

Host: site.com

Sitemap: http://site.com/sitemap.xml

Под директивой Host следующая ошибка "Unknown command. Acceptable commands are "User-agent" and "Disallow".

Как ее исправить подскажите пожалуйста?

Anibrut, в директивах Disallow у вас указано то что не должно индексироваться, а в Allow то что должно? Если да то, в приведённом при мере нет - /

И выглядеть тогда должно следующим образом:

User-agent: *

Disallow: /всякое указанно

Disallow: /всякое указанно

Disallow: /всякое указанно

Allow: /одна папка

Host: site.com

Sitemap: http://site.com/sitemap.xml

Извините забыла указать, поскольку ошыбку нашел данный валидатор после хост. / то как раз и есть.

Может какой то другой валидатор посоветуете? Проверила им еще один вполне хороший роботс - тоже самое пишет.

Anibrut,

https://webmaster.yandex.ru/robots.xml

https://support.google.com/webmasters/answer/6062598?hl=ru

роботс - корректный

пользуйтесь оф.валидаторами robots, указаны в старттопике ☝