Robots Word Press (заездженая тема)

Здраствуйте Dewey тут вроде уже разжовывали этот роботс для вордпресс, вроде как сошлись на том что он должен быть таким ☝- User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.yourdomain.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: http://yourdomain.ru/sitemap.xml если что не правильно, то сильно не пинайте, лучше укажите на ошибки.

Оо. а куда tags? (дубли выходят)

+ /wp-includes фотки в никуда?(они всеравно на странице остаются, а в внутрн. не полезет робот)

Тут что-то одно - либо оба с www, либо оба - без оного

Почти все пользуются all in seo паком, а там это на раз закрывается. Хотя и через роботс можно.

Я вот, к слову, стал замечать, что многие перестали закрывать теги и метки на вп (специально, ибо мастера далеко не первоклассники), хотя сайты неплохие делают. А яндекс с удовольствием кушает

Большое спасибо за поправку awasome, сейчас же изменю файлик. Вопрос к вам - если так как у меня на примере - это получаеться мы разрешаем индексацию зеркала сайта? или я опять не прав?😕 и если не трудно покажите пример роботса с закрытыми дублями страниц ( теги ), для вордпресс конечно же.

🤪 Ну вот если не знаешь) Зачем было отвечать. Я например понимаю как и что закрывать. Спрашиваю "нардного мнения".

На счет дублей. Подумай сам /tag/название статья & ЧПУ/название статьи. Вот тебе и дубль.

.

Вопрос вот в чем. Теги и метки опен клоуз?

.

+ название всех ботов. Хотелось бы узнать. (не только яндекс)

Dewey, ссори что влез в тему, но это для того чтобы поболее для себя узнать. Не пинайте сильно 🍿

🙄 Все мы новички (профи на форумах врятли сидят. Они знают, что к чему и делают)

ТС, откройте любой сайт продвинутый на вп и сделайте себе такой же роботс

Зачем их закрывать, если можно настроить вывод вида заголовок-анонс? И то, что на сайте эта композиция повторяется раза три (главная, раздел, рубрика) не означает дубли страниц. А если кому так кажется - пусть крестится.

tehno-music, Dewey,

Вот мой вариант

http://devvver.ru/robots.txt

Можете дубли поискать в индексе ПС.