Какие страницы движка Wordpress рекомендуется удалять из индекса?

iguania
На сайте с 10.12.2010
Offline
72
744

Добрый день.

Какие страницы движка Wordpress рекомендуется удалять из индекса и, самое важное, способы, как это сделать с максимально высокой гарантией. Читал, что google не всегда четко следует тому, что прописано в robots.txt (воспринимает его как рекомендацию).

Спасибо.

Все всегда заканчивается хорошо. Если все закончилось плохо, значит, это еще не конец…
ET
На сайте с 31.07.2010
Offline
45
#1

Вот с помощью этого плагина можно закрыть от индексации все что нужно Robots Meta, он ставит метатеги ноиндекс которые гугл не игнорит вогтличии от файла роботс. я закрываю вообще все кроме постов. На некоторых сайтах где продвигаю категории, то их тоже оставляю.

Копирайтинг, рерайт и ручное размножение статей на английском от носителей языка. (http://entexts.com) A тут можно купить прокси (http://buyproxies.ru/) (приватные, http)
azartan
На сайте с 25.11.2010
Offline
67
#2

посмотрите тут правильный роботс для вордпресс

Мониторинг обменников - выгодный обмен электронных денег и криптовалют (https://okku.ru) * Сайт о домашних питомцах - вопросы, ответы, объявления (http://zhizo.ru)
Keep moving
На сайте с 20.10.2009
Offline
94
#3

"Правильный" роботс - весьма размытое понятие. Смотря что за сайт у вас. Я в вордпрессах закрываю обычно /page /tags /feed, это помимо админской части. То что закрыто, у меня лично гугл кидает в сопли.

iguania
На сайте с 10.12.2010
Offline
72
#4
Keep moving:
То что закрыто, у меня лично гугл кидает в сопли.

Если кидает в сопли, значит все-таки индексирует содержимое несмотря на то, что оно закрыто в robots.txt. Поэтому и задал вопрос "...способы, как это сделать с максимально высокой гарантией." Т.е. как закрыть страницы так, чтобы Гугл вообще не брал их в индекс.

---------- Добавлено 08.02.2012 в 14:09 ----------

Что-то полезное нашел здесь http://www.seomoz.org/blog/duplicate-content-in-a-post-panda-world, но хотелось бы еще от Вас, форумчане, услышать Ваше лично мнение...

Keep moving
На сайте с 20.10.2009
Offline
94
#5

Кстати статья ок, хорошая подборка способов) но вообще я думаю, что каноникала и ручного удаления в вебмастер тулз должно быть достаточно.

D
На сайте с 15.10.2011
Offline
4
#6

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: site.ru

Sitemap: http:/site.ru/sitemap.xml

Обычно такой использую, это базовый вариант, если есть еще нежелательные страницы, добавляем в список или через Яндекс Веб-мастер.

По количеству страниц получается кол-во постов + категории + теги.

Keep moving
На сайте с 20.10.2009
Offline
94
#7

Еще в WP любят добавлять:

Disallow: /tag/

Disallow: /page/

чтобы дубли закрывать, но это можно делать и с помощью мета-тега каноникал.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий