Robot.txt для форума vBulletin 3.x.x

Disallow: /admincp/

Disallow: /cpstyles/

Disallow: /includes/

Disallow: /modcp/

Disallow: /subscriptions/

Disallow: /inlinemod.php

Disallow: /Warn.php

disallow: /calendar.php

disallow: /member.php

disallow: /register.php

disallow: /private.php

disallow: /search.php

disallow: /sendmessage.php

disallow: /newreply.php

disallow: /memberlist.php

disallow: /usercp.php

disallow: /login.php

disallow: /misc.php

disallow: /moderator.php

disallow: /online.php

disallow: /report.php

disallow: /reputation.php

disallow: /showgroups.php

с сессиями ничего не делаю, довольствуюсь "архивной" версией.

Также обратите внимание на (где-то была подобная тема, поиском не нашел)

PS: так Вы определитесь - либо 3.х.х лиюбо 3.5.. Насколько я помню там кардинальные различия...

этот вопрос уже вот здесь рассматривали

/ru/forum/23650

Нужно и для vB 3.0.x и для vB 3.5.x.

Я составил робтс так:

User-agent: *

Disallow: attachment.php

Disallow: editpost.php

Disallow: misc.php

Disallow: moderator.php

Disallow: newreply.php

Disallow: newthread.php

Disallow: online.php

Disallow: postings.php

Disallow: private.php

Disallow: report.php

Disallow: sendtofriend.php

Disallow: threadrate.php

Disallow: usercp.php

Disallow: member.php

Disallow: memberlist.php

Но яндекс по прежнему добавлет эти страницы, дело в слежаш? \ /

http://yandex.ru/info/webmaster2.html

ps: Я бы на Вашем месте закрыл некоторые папки

Piligrim, спасибо сделал как вы посоветовали, вроде работает, и ещё вопрос когда из индекса выпадут эти страницы и выпадут ли они если на них робот не будет пытатся зайти?

И ещё такой вопрос как избавится от сесий, если сделать так

Disallow: /forumdisplay.php?s=

Disallow: /showthread.php?s=

Как думаете поможет ли это справится с сесиями?

http://webmaster.yandex.ru/delurl.xml

сам никак не избавляюсь (поэтому и не знаю), а поиск по форуму выдает вот это: /ru/forum/26269

Дабавил эти значения:

Disallow: /forumdisplay.php?s=

Disallow: /showthread.php?s=

И страницы где есть ссессии не добавляются а нормальные идут в добавление:

/forumdisplay.php?f=3

/showthread.php?t=16

Может ли быть здесь какая нить засада?

у меня такой. вроде мусора нету в выдаче

User-Agent: *

Disallow: /showpost.php

Disallow: /printthread.php

Disallow: /sendmessage.php

Disallow: /calendar.php

Disallow: /memberlist.php

Disallow: /attachment.php

Disallow: /search.php

Disallow: /member.php

Disallow: /profile.php

Disallow: /showgroups.php

Disallow: /subscription.php

Disallow: /showthread.php?mode=

Disallow: /showthread.php?p=

Disallow: /showthread.php?s=

Disallow: /misc.php

Disallow: /login.php

Disallow: /online.php

Disallow: /showgroups.php

Disallow: /subscriptions.php

Disallow: /register.php

Disallow: /faq.php

Disallow: /usercp.php

Disallow: /poll.php

Я тут немного подумал, если выставить значения :

Disallow: /forumdisplay.php?s=

Disallow: /showthread.php?s=

При заходе не форум все ссылки с сессиями только позже становятся прямые (интересно как они у ботов выглядят?) так вот бот зайдёт на главную страницу а дальше пойти никуда кроме внешних ссылок не сможет :(( прав ли я в своих опасениях?

У третей версии vB есть механизм "архивов"