Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Стоит ли закрывать от индексации "разделы", "категории"

SA
На сайте с 17.02.2009
Offline
53
SmAVl
1770

Давно мучает вопрос. А стоит ли закрывать от индексации страницы "рубрики", "категории", "теги"?

С одной стороны - в них попадает дубликат контента, и это не есть хорошо.

С другой стороны:

- дубликат идёт не вся статья, а только заголовок и скажем первый абзац(ну или первые предложения)

- бывает так, что на сайт приходят не на страницу, а на рубрику

- ну то что больше страниц для сапы - это конечно не довод

- анализируя как составлен robots.txt у многих популярных блогеров(cms WordPress) я пришёл к выводу, что никто его вообще не составляет

Вроде всё решил для себя(не стоит), но опять наткнулся на одну статейку, где опять рекомендовали закрыть от индексации. Поэтому решил спросить, может кто сейчас что ещё подскажет, просветит.

K
На сайте с 29.04.2010
Offline
47
Klakson
#1

И стоит ли закрывать профили пользователей?

SA
На сайте с 17.02.2009
Offline
53
SmAVl
#2
И стоит ли закрывать профили пользователей?

Извини конечно, а к теме разве относиться?

Их закрывать стоит.

overnight
На сайте с 23.05.2008
Offline
262
overnight
#3

SmAVl, у меня есть несколько сайтов на wordpress. Пробовал и закрывать и оставлять, что интересно — трафик остаётся прежним.

С человеческой точки зрения, в большинстве случаев, предпочтительнее привести посетителя на запись.

За сим — я закрываю.

Пример robots.txt:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /?p=
Disallow: /?tag=
Host: xxxxxxxxx.ru
Sitemap: http://xxxxxxxxxx.ru/sitemap.xml

User-agent: Slurp
Disallow: /

User-agent: Yahoo! Slurp
Disallow: /

User-agent: MSNBot
Disallow: /

User-agent: Teoma
Disallow: /

User-agent: Scooter
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: Lycos
Disallow: /

User-agent: WebAlta 
Disallow: /

User-agent: WebAlta Crawler/2.0
Disallow: /
Google ответил на несколько Google: HTML-карта сайта не Как увеличить трафик интернет-магазина
L
На сайте с 27.03.2006
Offline
147
leobat
#4
SmAVl:
анализируя как составлен robots.txt у многих популярных блогеров(cms WordPress) я пришёл к выводу, что никто его вообще не составляет

Более того, большинство и не задумывается про seo :)

Лично я закрываю всё, что не относится к делу - профили, календари, группы, итп. Зачем забивать слабенькие мегабайты нашему кормильцу...

SA
На сайте с 17.02.2009
Offline
53
SmAVl
#5
Более того, большинство и не задумывается про seo

Не-не-не, я анализировал популярных SEO блогеров :)

Хотя тут конечно вопрос спорный: Много сеоблогеров используют паблик шаблон, паблик движок, у многих и ТИЦ то не космос - хотя каждый месяц пишут, как они срубили бабла.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий