много мусора в индексе от форума

G2
На сайте с 30.11.2004
Offline
84
474

Здравствуйте!

Вот у меня такая проблема:

Есть форум на IPB движке, вроде оптимизирован :) mod_rewrite прикручен, всё вроде не плохо. И вот пытаюсь отключить много не нужного мусора, чтобы не попадало в индекс поисковикам. Профили пользовтаелй отключил и т.п.

Но вот есть куча таких страничек

forum.ru/topic123.html?view=new

forum.ru/topic123.html?view=old

forum.ru/topic321.html?view=getnewpost

ну и всё в таком духе... Есть ли способ заблокировать это от индекса? не забывая о том что сама страничка forum.ru/topic123.html должна быть доступна для индексации.

Варианты типа

---

User-Agent: *

Disallow: forum.ru/topic123.html?

---

не подходят, ибо как все топики заносить это извращение...

В идеале если был бы возможен такой вариант:

---

User-Agent: *

Disallow: forum.ru/topic(.*).html?

---

но увы это не работает :)

[Удален]
#1

А зачем? Там же могут быть ценные ключевики и ссылки?

IM
На сайте с 10.08.2005
Offline
6
#2

А что вообще стоит закрывать от поисковиков, а что нет? т.е. давайте список: составим

1. Профили пользователей

2. Календарь

3. Форма регистрации

Что ещё?

G2
На сайте с 30.11.2004
Offline
84
#3

Остров, в этом то всё и дело, что в лучшем случае такая ссылка в индексе forum.ru/topic123.html?view=new редиректит на forum.ru/topic123.html, в худшем же получаем что-то вроде 404 "новее тем нет", "старее тем нет", "запрошеной страницы нет" и всё в таком духе, один мусор короче :(

G2
На сайте с 30.11.2004
Offline
84
#4
InfoMePlease:
А что вообще стоит закрывать от поисковиков, а что нет? т.е. давайте список: составим

1. Профили пользователей
2. Календарь
3. Форма регистрации
Что ещё?

никакие списки не нужны, почитай просто тут _ttp://oborot.ru/article/326/7

IM
На сайте с 10.08.2005
Offline
6
#5

Я несовсем согласен, там написано следущее:


список пользователей
личные сообщения
статистика
поиск
создание новых сообщений и ответов
помощь
и др.

ЛС, но это оносится к профилям

Зачем же закрывть помощь? - всего 1-10 страниц.. при хорошем ПР будет в гугле вылезать :)

Зачем закрывать поиск? - вопрос для всех.. мне интересно взаимоействие бота с поиском. Может ли выдаваться поисковиком выдача поиска?

создание новых сообщений и ответов - стоит ли это закрывать, т.е. насколько нагружают бота эти функции?

Так вот что именно значит "и др."?

К списку добавлю только:

4. Список пользователей

5. Статистика

G2
На сайте с 30.11.2004
Offline
84
#6

Так ведь главная задача, оставить в индексе только топики, чтобы трафик был исключительно целевой. Ну какие могут быть посетители на странички с помощью и т.п.? Нафиг они такие нужны...

Да и квота в индексе может рано или поздно кончиться.

Для меня в индексе всё мусор, кроме топиков.

A
На сайте с 23.10.2003
Offline
196
#7

Наименьшими телодвижениями - это добавить мета-тег noindex в шаблоны ненужных страниц.

андроид ТВ (http://qway.com.ua/android_tv) и экшн камеры (qway.com.ua/action-cameras) в Украине.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий