Все вопросы по robots.txt

всем доброго времени суток!

подскажите плиз, как корректно закрыть дубли в моем варианте...

итак..

сайт на wordpres

пермалинк для записей сделан /blog/%postname%/

blog - это будет единственная категория для всех записей.

в хлебных крошках в шаблоне отображается категория в пути (главная - название категории - имя записи).

название категории я сделал БЛОГ (совпадает с префиксом из пермалинка). не стал делать в пермалинке %category%/%postname% т.к. вордпресс в своем кодексе это не рекомендует.

также я сделал страницу с именем БЛОГ и добавил ее в меню на главной.

потом поковырял шаблон и изменил ссылку в хлебных крошках (только ссылку, не название, т.к. название с ходу не получилось изменить - именно поэтому категория, префикс пермалинка и страница называются одинаково)

теперь ссылка ведет не на категорию БЛОГ, а на страницу БЛОГ, т.е. название цепляет из недр самой категории, но ведет на страницу

жто поможет корректно перемещаться по сайту...

но заморочка еще в том, что когда генерируется карта сайта для WP, то там все страницы расположены нормально (в теле), а все записи - внизу сгруппированы по категориям...

и я не понимаю - будут ли они индексироваться, если в карте сайта они находятся ПОСЛЕ категории (которую планирую закрыть), НО при этом на последние 4 новости будет вести ссылка с главной страницы + будет 2 ссылки с главной на страницу БЛОГ, а на странице БЛОГ будут ссылки на все статьи. На главной и на странице БЛОГ будут только анонсы (чтобы максимально сохранить оригинальность самой статьи).

вот такие дебри у меня тут...

соответственно вопрос - как корректно закрыть от дублей в моем случае?

Заранее спасибо!

сайт пока на локалке.. не переношу, пока не пойму, как настроить...

например...

есть новость - "novost"

в структуре пермалинка это выглядит как mysite/blog/novost

в структуре blog сделан на как %category% а как префикс следуя рекомендациям wordpress

создана категория "Блог" ("blog") для новостей (категория будет только одна)

таким образом, имя категории совпадает с префиксом пермалинка.

в хлебных крошках выводится путь новости

главная - имя категории (блог) - новость

я изменил немного код шаблона, и теперь название категории в хлебных крошках подтягивается из категорий, но ссылка ведет на созданную мной страницу БЛОГ.

т.е. стирая все после последнего слеша, мы попадаем на страницу blog/, где идет анонс всех новостей.

получается, что прямой ссылки на категорию у нас нет даже в хлебных крошках.

есть 2 ссылки с главной на страницу БЛОГ и анонс 4 последних новостей на главной.

также на всех, кроме главной, будут виджеты в сайдбаре - последние записи, похожие записи и популярные записи (если будет что-то мешать - отключу)

смущает немного то, что в формируемых картах сайта для wordpress все записи сгруппированы именно в категории... и просто закрыв ее - я опасаюсь закрыть все записи...

пробовал добавлять новость как дочернюю страницу (назвал новость страница) - корректно отображается в карте сайта, но не отображается нигде в новостях (там везде выводятся только записи)

постарался расписать поподробней... )))

т.е. адрес вроде как один у новости, но попасть в нее можно несколькими путями...

просто получается след. ситуация

в адресе mysite/blog/novosti blog - это префикс

есть blog категория (фигурирует только в картах сайта, но это как раз важно для ПС)

mysite/blog (mysite/blog/ - редиректится на mysite/blog) - это уже страница со всеми записями/новостями

но выбирая категорию блог в карте сайта, мы попадаем на mysite/category/blog

и причем это category тоже могу убрать через htaccess

RewriteRule ^category/blog$ blog [L,R=301]

и будет перекидывать на mysite/blog

или можно внести изменения в модуль, который формирует html карту сайта (с xml боюсь не разберусь)... поэтому склоняюсь к 301 или 302 редиректу через htaccess

будут дубли анонсов, которые выводятся, но не будет по идее дублей самих новостей (тк в полном виде - только самом новость).

очень тяжело осилить, но по редикту понял что нужно из структуры сайта убрать /category/ и оставить /category/статья ?

302(временный) не делайте - страница индексироваться.

просто не понимаю, что нужно сделать через robot.txt?

сделайте в формате:

/blog/ - убрать из индекса

/blog/статья - оставить

bulatbulat48, так у меня и был вопрос - при такой структуре надо что-то закрывать или нет? есть ли дубли? или так по моему сумбурному описанию не очень понятно?

как я понял - ничего закрывать не нужно, если участвует 301 редирект, если 302 то нужно.

спасибо! буду пробовать...

Правильный Robots.txt? подскажите

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: *openstat*

Disallow: *utm*

Sitemap: http://site.ru/sitemap. xml

Host: site.ru

ошибок нет, но я бы воздержался от таких записей(может некоторые страницы запретить, например site.ru/tutmnogo):

Disallow: *utm*

А так ???

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: http://site.ru/sitemap. xml

Роботс - это инструмент, предназначенный для каких-либо действий с адресами. Он заточен под конкретные цели и под конкретный сайт. Нет никаких универсальностей.

Если ты просто хочешь закрыть вп-админ и вп-инклюдес, и указать сайтмап с хостом, то правильный.