Запрет индексации страниц, не несущих полезной информации

I
На сайте с 27.08.2004
Offline
115
Iam
501

На форуме моего сайта есть много страниц, не несущих полезной для поисковика информации, например страницы настроек. Кроме того, есть урлы, которые ссылаются на одну и туже страницу, а выглядят по разному. Это могут быть ссылки на разные сообщения, расположенные на одной странице, или ссылка на ту же страницу, но с отсортированными сообщениями.

В силу вышеуказанных причин, в индексе поисковика оказывается много дублей и просто бесполезных страниц.

1) На сколько это плохо с точки зрения позиций сайта в выдаче?

2) На форуме используется ЧПУ, но, к сожалению, такое, что чёткого разбиения по корневым папкам контента, который я бы хотел запретить к индексации, нет.

Будет ли директива в robots.txt "Disallow: /forum/action" запрещать индексацию яндексом всех папок типа:

"/forum/action,profile/u,215"

"/forum/action,activate"

и тому подобных?

А если написать так "Disallow: /forum/action*" ?

То, что не будут работать выражения вида "/ Disallow: forum/topic*msg*", я уже знаю. Но они понимаются гуглом. Не помешают ли они яндексу, если я их оставлю под директивой "User-agent: *" ?

3) А что, если все ненужные ссылки заключить в тег <noindex></noindex>, в шаблоне форума. Его все поисковики понимают?

К сожалению, привести ссылочную структуру форума к древовидному виду, переместив всё, что не нужно индексировать, в отдельную ветку, возможным не представляется :( Я уже над этим думал.

mcphantom
На сайте с 23.11.2003
Offline
64
#1
1) На сколько это плохо с точки зрения позиций сайта в выдаче?

Это влияет только положительно, т.к. вы по сути удаляете duplicate-контент.

Будет ли директива в robots.txt запрещать индексацию яндексом всех папок типа

Будет.

3) А что, если все ненужные ссылки заключить в тег <noindex></noindex>, в шаблоне форума. Его все поисковики понимают?

Понимают, но не все ;)

Куплю PR5-PR9 ссылки, статьи и сайты. Обращаться в личку.
I
На сайте с 27.08.2004
Offline
115
Iam
#2
mcphantom:

Будет.

Поясните, пожалуйста, как, всё-таки правильно писать, чтобы закрыть от яндекса

"/forum/action,profile/u,215"

"/forum/action,activate"

"Disallow: /forum/action" или "Disallow: /forum/action/*"

mcphantom:

Понимают, но не все ;)

А кто понимает?

mcphantom
На сайте с 23.11.2003
Offline
64
#3
Поясните, пожалуйста, как, всё-таки правильно писать, чтобы закрыть от яндекса

В поиск или в гугл. Все уже было.

А кто понимает?

Яндекс понимает, гугл нет.

I
На сайте с 27.08.2004
Offline
115
Iam
#4

ок, спасибо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий