Помогите с robots для dle и vBulletin

WerewolfCisco
На сайте с 17.11.2008
Offline
106
864

К сожалению это давно заезжена тема, и неверное будет оставаться таковой. Не судите :)

Сайт на dle, а форум на vBulletin.

форум расположен в папке forum

Полазил по форумам почитав разные сайты, в том числе и сайт о роботс тхт, посмотрев роботы сайтов окончательно запутался. Хочу сделать роботс тхт для форума и сайта в одном.

Это примерный список того что нужно закрыть, может что что посоветует (дополнить или удалить).

User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /favorites/

Disallow: /cache/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /backup/

Disallow: /autobackup.php

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=stats

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

для форума я взял с самого форума VB орг.

Disallow: /forum/clientscript/

Disallow: /forum/cpstyles/

Disallow: /forum/customavatars/

Disallow: /forum/images/

Disallow: /forum/includes/

Disallow: /forum/ajax.php

Disallow: /forum/album.php

Disallow: /forum/attachment.php

Disallow: /forum/calendar.php

Disallow: /forum/cron.php

Disallow: /forum/global.php

Disallow: /forum/group.php

Disallow: /forum/group_inlinemod.php

Disallow: /forum/groupsubscription.php

Disallow: /forum/image.php

Disallow: /forum/infraction.php

Disallow: /forum/inlinemod.php

Disallow: /forum/joinrequests.php

Disallow: /forum/login.php

Disallow: /forum/member.php

Disallow: /forum/member_inlinemod.php

Disallow: /forum/memberlist.php

Disallow: /forum/moderation.php

Disallow: /forum/moderator.php

Disallow: /forum/newattachment.php

Disallow: /forum/newreply.php

Disallow: /forum/newthread.php

Disallow: /forum/online.php

Disallow: /forum/payment_gateway.php

Disallow: /forum/payments.php

Disallow: /forum/picture.php

Disallow: /forum/picture_inlinemod.php

Disallow: /forum/picturecomment.php

Disallow: /forum/poll.php

Disallow: /forum/post_thanks.php

Disallow: /forum/posthistory.php

Disallow: /forum/postings.php

Disallow: /forum/printthread.php

Disallow: /forum/private.php

Disallow: /forum/profile.php

Disallow: /forum/register.php

Disallow: /forum/report.php

Disallow: /forum/reputation.php

Disallow: /forum/search.php

Disallow: /forum/search_google.php

Disallow: /forum/sendmessage.php

Disallow: /forum/showgroups.php

Disallow: /forum/subscription.php

Disallow: /forum/subscriptions.php

Disallow: /forum/tags.php

Disallow: /forum/threadrate.php

Disallow: /forum/threadtag.php

Disallow: /forum/usercp.php

Disallow: /forum/usernote.php

Disallow: /forum/vbam_advertisement.php

Disallow: /forum/vbseocp.php

Disallow: /forum/vbseocpform.php

Disallow: /forum/visitormessage.php

WerewolfCisco добавил 17.08.2010 в 15:10

Никто не может подсказать ?:(

Astaldo
На сайте с 28.01.2006
Offline
174
#1
WerewolfCisco:
Disallow: /forum/clientscript/

= Disallow: /forum/

что само по себе закрывает весь форум.

делайте

Disallow: /*clientscript

Astaldo добавил 17.08.2010 в 15:23

Хотя не. что то мне подсказывает, что я ошибаюсь.

Извините.

Live as if you were to die tomorrow. Learn as if you were to live forever. Mahatma Gandhi
S
На сайте с 28.10.2005
Offline
319
#2
Astaldo:
= Disallow: /forum/

Не, не равно

edka
На сайте с 17.01.2010
Offline
208
#3
Disallow: /uploads/

Не понимаю зачем у DLE закрывают аплоадс, там обычно картинки и в итоге они не будут проиндексированы

WerewolfCisco
На сайте с 17.11.2008
Offline
106
#4
edka:
Не понимаю зачем у DLE закрывают аплоадс, там обычно картинки и в итоге они не будут проиндексированы

Вот по этому я и спрашиваю совета.

Я так же не могу понять почему в примере который я достал закрыта Disallow: /cache/ , ведь она находится в engine

Так же мне кажется что стоит закрыть от индексации и папку /templates/ , в ней хранятся стандартные шаблоны и Ваш шаблон, который ПС , как мне кажется , до лампочки.

edka
На сайте с 17.01.2010
Offline
208
#5
WerewolfCisco:

Так же мне кажется что стоит закрыть от индексации и папку /templates/ , в ней хранятся стандартные шаблоны и Ваш шаблон, который ПС , как мне кажется , до лампочки.

Возможно, правда в ней есть папка images в ней логотип (шапка) сайта, для ПС они станут недоступными, возможно это не очень хорошо, но вопрос спорный.

WerewolfCisco
На сайте с 17.11.2008
Offline
106
#6
edka:
Возможно, правда в ней есть папка images в ней логотип (шапка) сайта, для ПС они станут недоступными, возможно это не очень хорошо, но вопрос спорный.

В чем выражается "не очень хорошо" . Вы имеете в виду что будет закрыт доступ на ключевики? :)

edka
На сайте с 17.01.2010
Offline
208
#7
WerewolfCisco:
В чем выражается "не очень хорошо" . Вы имеете в виду что будет закрыт доступ на ключевики? :)

Нет, на ключевики точно не будет закрыт, т.к. все метатеги генерятся уже файлом index.php, а он не закрыт от индексации.

Подумал просто, что если дизайн уникальный и шапка тоже, то зачем скрывать этот плюс от ПС :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий