Все вопросы по robots.txt

зависит от поисковика 1-2 апа обычно

а что делать, если гугл не видит robots.txt, который лежит в корне сайта?

Был бы благодарен за разъяснение.

Сайт на WordPress с настроенным ЧПУ. Это - НЕ блог, нет регистрации и входа, нет вопросов и ответов, комментариев и всего присущего блогу. Это - сайт небольшой фирмы с коммерческой тематикой. Нет также RSS.

ВОПРОС: нужны ли в таком случае в robots.txt директивы Disallow такие как trackback, comments, category, feed? Если что-то нужно, то что именно?

Привет всем.

Нашел в кеше Яндекса дубль главной, вот такого типа http://site.com/#!lego/c3ml

Не удается убрать этот дубль.

Пробовал через роботс его запретить, испробовал десятки вариантов:

Disallow: /*#!lego/c3ml*

Disallow: /#!lego/c3ml*

Disallow: /c3ml*

Disallow: /#!lego/c3ml

Disallow: /#!lego/

Ну и тд. Испробовал все возможные варианты синтаксиса роботса, чуть ли не сотню. Проверял через акк ВМ яндекса. Результатов два : либо запрещен весь сайт, либо дубль не запрещен.

Сайт на WP, сервер nginx, то есть редирект через хтаццесс не поставишь, качнул три плагина для редиректов в WP, начал ставить - все плагины работают, но именно эту страницу http://site.com/#!lego/c3ml "не берут"

Что это за дубль такой (http://site.com/#!lego/c3ml), почему его ни роботс, ни редирект не берет? Кто нибудь может подсказать синтаксис robots для запрета подобной страницы?

Проверяли через GWT? ответ сервера у файла какой?

---------- Добавлено 09.05.2015 в 18:48 ----------

вы лучше скиньте примеры url которые в индексе и если не нужны - закрывайте. В целом я бы закрыл все лишнее.

это рендеринг страниц на AJAX либо фреймворка который использует ваш сайт. Исправляйте код.

http://help.yandex.ru/webmaster/robot-workings/ajax-indexing.xml

Добрый день!

Подскажите, плизз, почему у многих в robots.txt отдельный блок правил для яндекс?

( при этом общие правила не отличаются от блока правил для яндекса)

Это большое уважения к роботу яндекса или как?

Просто у меня нет особых правил для яндекса, нужно ли дублировать блок для User-agent: Yandex? На что влияет этот дубль?

Здравствуйте, подскажите как правильно нужно прописать строчку для закрытия, закрыть нужно все линки редиректа по типу:

http://site.ru/go-shop/mvideo

http://site.ru/go-shop/lamoda

Тоесть все что после go-shop всключая сам go-shop хочу закрыть от робота.

Какая из этих строчек будет правильная?

Disallow: /go-shop

Disallow: /go-shop/

Disallow: /go-shop/*

И если можно, объясните пожалуйста разницу между Disallow: /go-shop и Disallow: /go-shop/ в чем отличие. (Прочем справку, к сожалению больше запутался чем разобрался)

Если не отличаются, то нет необходимости.

---------- Добавлено 21.05.2015 в 13:54 ----------

Правильная для закрытие папки: Disallow: /go-shop/

Disallow: /go-shop/

Disallow: /go-shop/*

идентичные, *-подставляется автоматически

Disallow: /go-shop

- закроет еще и /go-shop-любой текст

bulatbulat48 Спасибо за ответ.

Подскажите еще пожалуйста, у меня на сайте идет автовыгрузка неуникального контента, который генерирует ссылки по типу:

site.ru/товар/продукт1

site.ru/товар/продукт2

и т.д.

я хочу закрыть все эти страницы из директории, но при этом как мне открыть доступ для некоторых из них в этой же директории (/товар/)? Я подумал над таким вариантом, страницы которые я хочу открыть буду создаваться с пометкой символов, к примеру mr и сcылки будут иметь такой вид http://site.ru/товар/mr-продукт3

Означает ли это:

Disallow: /товар/

Allow: /товар/mr*

что я закрыл все страницы типа site.ru/товар/продукт1 и открыл типа site.ru/товар/mr-продукт3

Или может быть Вы подскажите другое решение. Благодарю!