Правильный robots.txt для форума на основе движка VB ?

12
Zegaldis
На сайте с 09.08.2005
Offline
152
1505

Есть форум на основе движка VB, для того чтобы поисковики не индексили в нем мусор или странички к которым без регистрации все равно нет доступа, я создал robots.txt следующего содержания:

=======================

User-agent: *

disallow: /calendar.php

disallow: /member.php

disallow: /register.php

disallow: /private.php

disallow: /search.php

disallow: /sendmessage.php

disallow: /showpost.php

disallow: /printthread.php

disallow: /newthread.php

disallow: /newreply.php

disallow: /memberlist.php

disallow: /usercp.php

=======================

Прошу посмотреть и покритиковать

Также прошу подсказать является ли правильным решение

========

disallow: /newthread.php

========

для УРЛов вида:

http://xxxxxxx/newthread.php?do=newthread&f=21

123av
На сайте с 29.06.2004
Offline
168
#1

вообще его закрой от идексации , а то когда форум обрастет топиками , боты начнут жрать очень много трафа

Zegaldis
На сайте с 09.08.2005
Offline
152
#2

Спасибо, но актуальность трафа меня на данный момент не интересует.

Интересует именно нормальное видение форума и его индексация без ненужных частей

123av
На сайте с 29.06.2004
Offline
168
#3

для чего это вам нужно ? имея форум тяжело расчитывать на то что с поисковиков будет идти на него посетитель.

YugForum
На сайте с 14.04.2005
Offline
158
#4

Почему? На мой например - очень даже хорошо идут, есть кстати даже очень интересные запросы! Да и боты на нем уже практически прописались - индексируют не все конечно, но 3-4слоя стабильно.

MyAmeli.ru (http://MyAmeli.ru)
Ctulhu
На сайте с 21.05.2005
Offline
222
#5

Zegaldis, попробуйте обратиться в русскую поддержку форума. Меня например когда это интересовало, я обратился на форум поддержки phpbb - мне там все сказали. направление правильное.

Piligrim
На сайте с 10.04.2005
Offline
145
#6

Zegaldis,

Директив (http://directiv.ru) - поисковый маркетинг Адвербо (http://adverbo.ru) - продвижение с ежедневными списаниями за топ или трафик
Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#7

Только замечу — делалось для старой версии форума и пока не переделывалось, руки не доходили. Вроде бы там все нормально, но детально не проверял.

Евген
На сайте с 28.02.2004
Offline
1040
#8

у меня такой

User-Agent: *

Disallow: /showpost.php

Disallow: /printthread.php

Disallow: /sendmessage.php

Disallow: /calendar.php

Disallow: /memberlist.php

Disallow: /attachment.php

Disallow: /search.php

Disallow: /member.php

Disallow: /profile.php

Disallow: /showgroups.php

Disallow: /subscription.php

Disallow: /login.php

но все равно еще много мусора, надо тут подсмотреть, когда новый роботс будет -)

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
Piligrim
На сайте с 10.04.2005
Offline
145
#9

Disallow: /admincp/

Disallow: /cpstyles/

Disallow: /includes/

Disallow: /modcp/

Disallow: /subscriptions/

Disallow: /Warn.php

disallow: /calendar.php

disallow: /member.php

disallow: /register.php

disallow: /private.php

disallow: /search.php

disallow: /sendmessage.php

disallow: /newreply.php

disallow: /memberlist.php

disallow: /usercp.php

disallow: /login.php

disallow: /misc.php

disallow: /moderator.php

disallow: /online.php

disallow: /report.php.php

disallow: /reputation.php

disallow: /showgroups.php

у меня так

КР
На сайте с 05.08.2005
Offline
54
#10

А как запретить индексировать такие ссылки?

/forum/index.php?action=userinfo&user=1291

disallow: /forum/index.php?action=userinfo ??

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий