Количество проиндексированных страниц уменьшилось.

П
На сайте с 24.02.2007
Offline
12
342

Поставил форум. После первого апдейта на яндексе, количество проиндексированных страниц (смотрел через http://www.yandex.ru/yandsearch?serverurl=www.форум.ru)

составило около 13000

После второго захода:

42591

После третьего и составляет сейчас:

31951

Это плохо? И если да, то почему количество страниц убавилось?

Ещё такой вопрос:

Форум у меня IPB. И если смотреть на проиндексированные страницы, то среди них много таких, как:

Просмотр профиля

Сообщение форума (это когда бот заходит куда не надо. Скажем открывает тему, не авторизовавшись или что-нибудь в этом роде)

Ну так вот вопрос: Мне надо создать robot.txt и запретить в нём индексацию этих страниц? Если да, то чем они мне мешают? Пусть проиндексирует всё.

Как запретить страницы форума, типа профиля? Ведь в роботе можно запрещать только директории, а форум весь на скриптах работает...

D
На сайте с 23.11.2003
Offline
167
dmt
#1
Псих:
После второго захода:
42591
После третьего и составляет сейчас:
31951

Скорее всего бот склеил одинаковые страницы за счет

Сообщение форума (это когда бот заходит куда не надо. Скажем открывает тему, не авторизовавшись или что-нибудь в этом роде)

т.к. эти страницы для него одинаковы.

ARCOS
На сайте с 15.09.2005
Offline
130
#2

По первому вопросу все верно сказано, Яндекс удалил дубли из индекса.

П
На сайте с 24.02.2007
Offline
12
#3

Хорошо, а с остальными вопросами? У меня вот сейчас на форуме файла robot.txt вообще нет. Мне его создавать?

ARCOS
На сайте с 15.09.2005
Offline
130
#4

Контент который не представляет интереса для Яндекса можно запретить тэгом <noindex>

А более подробно почитать о robots.txt можно здесь

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий