Все вопросы по robots.txt

Disallow: /?*

sndr, звездочка в конце правила не нужна - она "по умолчанию" и так.

А вот если параметры есть у подпапок - вариант Staid самый правильный: Disallow: /*? проверенно рабочий для всех роботов, понимающих регулярки в правилах robots

Из за фильтра на сайте создаются страницы с подобными урлами:

//xxx/catalog/tikhoe-vino/?CODE=vino-kr-barone-di-bernay-nero-d-avola-2014-0-75l-italiya&FILTER%5BCOUNTRY%5D=531&SECTION_CODE=tikhoe-vino&PAGEN_1=3

Получаются дубли. Их нужно исключить из индексации, делаю через robots - 2 варианта:

Disallow: /*FILTER

или

Clean-param: FILTER

Как будет правильней и почему? Или в обоих случаях ошибка.

Подскажите, пожалуйста

Я всегда делаю через Disallow

В вашем случае правильней будет добавить такую директиву:

Disallow: /*?CODE=*FILTER*

Приветствую, какой должен быть robots.txt для 5 версии vB?😒

В основном каждый под себя делает robots. А посмотреть базу robots можно открыв популярные форумы на этом движке. Взять у них основу, а потом уже по мере необходимости добавлять свое.

Спасибо это я пробовал делать. Но я слышал что версия vb имеет большое значение. Т.е. файл robots.txt для vb4x будет сильно отличаться от vb 5x ? Я пробовал искать форумы с моей версией движка, но файл robots там какой- то странный. Вот пример найденного:

или

Считаю они оба не верны😕

Ты пример показываешь вообще от Wordpress.

Вот пример vBulletin

User-agent: Yandex

Crawl-delay: 3

Disallow: /forum2/

Disallow: /forum/blogs/

Disallow: /forum/blog.php

Disallow: /forum/clientscript/

Disallow: /forum/cpstyles/

Disallow: /forum/customavatars/

Disallow: /forum/customprofilepics/

Disallow: /forum/img/

Disallow: /forum/images/

Disallow: /forum/includes/

Disallow: /forum/ajax.php

Disallow: /forum/announcement.php

Disallow: /forum/infraction.php

Disallow: /forum/attachment.php

Disallow: /forum/calendar.php

Disallow: /forum/cron.php

Disallow: /forum/editpost.php

Disallow: /forum/global.php

Disallow: /forum/image.php

Disallow: /forum/inlinemod.php

Disallow: /forum/joinrequests.php

Disallow: /forum/login.php

Disallow: /forum/member.php

Disallow: /forum/memberlist.php

Disallow: /forum/misc.php

Disallow: /forum/moderator.php

Disallow: /forum/newattachment.php

Disallow: /forum/newreply.php

Disallow: /forum/newthread.php

Disallow: /forum/online.php

Disallow: /forum/poll.php

Disallow: /forum/postings.php

Disallow: /forum/printthread.php

Disallow: /forum/private.php

Disallow: /forum/profile.php

Disallow: /forum/register.php

Disallow: /forum/report.php

Disallow: /forum/reputation.php

Disallow: /forum/search.php

Disallow: /forum/sendmessage.php

Disallow: /forum/showgroups.php

Disallow: /forum/showpost.php

Disallow: /forum/subscription.php

Disallow: /forum/threadrate.php

Disallow: /forum/usercp.php

Disallow: /forum/usernote.php

Disallow: /forum/news

Disallow: /forum/redirect-to

Disallow: /forum/redirect/

Disallow: /forum/faq.php?s=

Disallow: /forum/external.php

Disallow: /forum/sitemap/

Disallow: /forum/itrader.php

Disallow: /*forum/banner.php

Disallow: /blogs/comments/

Disallow: */feed/

Disallow: /*?sort=

Disallow: /*utm_source=

Disallow: /*referrerid=

Disallow: /?site=colorzone

Disallow: /*faq.php?s=&do=search

Disallow: /tools/*showthread.php

Disallow: /*threadrss.php

Disallow: /*do=markread&readhash=

Disallow: /*do=markread&markreadhash=

Disallow: /test.html

Host: sait.ru



User-agent: Googlebot

Crawl-delay: 3

Disallow: /forum2/

Disallow: /forum/blogs/

Disallow: /forum/blog.php

Disallow: /forum/clientscript/

Disallow: /forum/cpstyles/

Disallow: /forum/customavatars/

Disallow: /forum/customprofilepics/

Disallow: /forum/img/

Disallow: /forum/images/

Disallow: /forum/includes/

Disallow: /forum/ajax.php

Disallow: /forum/announcement.php

Disallow: /forum/infraction.php

Disallow: /forum/attachment.php

Disallow: /forum/calendar.php

Disallow: /forum/cron.php

Disallow: /forum/editpost.php

Disallow: /forum/global.php

Disallow: /forum/image.php

Disallow: /forum/inlinemod.php

Disallow: /forum/joinrequests.php

Disallow: /forum/login.php

Disallow: /forum/member.php

Disallow: /forum/memberlist.php

Disallow: /forum/misc.php

Disallow: /forum/moderator.php

Disallow: /forum/newattachment.php

Disallow: /forum/newreply.php

Disallow: /forum/newthread.php

Disallow: /forum/online.php

Disallow: /forum/poll.php

Disallow: /forum/postings.php

Disallow: /forum/printthread.php

Disallow: /forum/private.php

Disallow: /forum/profile.php

Disallow: /forum/register.php

Disallow: /forum/report.php

Disallow: /forum/reputation.php

Disallow: /forum/search.php

Disallow: /forum/sendmessage.php

Disallow: /forum/showgroups.php

Disallow: /forum/showpost.php

Disallow: /forum/subscription.php

Disallow: /forum/threadrate.php

Disallow: /forum/usercp.php

Disallow: /forum/usernote.php

Disallow: /forum/news

Disallow: /forum/redirect-to

Disallow: /forum/redirect/

Disallow: /forum/faq.php?s=

Disallow: /forum/external.php

Disallow: /forum/sitemap/

Disallow: /forum/itrader.php

Disallow: /*forum/banner.php

Disallow: /blogs/comments/

Disallow: */feed/

Disallow: /*?sort=

Disallow: /*utm_source=

Disallow: /*referrerid=

Disallow: /?site=colorzone

Disallow: /*faq.php?s=&do=search

Disallow: /tools/*showthread.php

Disallow: /*threadrss.php

Disallow: /*do=markread&readhash=

Disallow: /*do=markread&markreadhash=

Disallow: /test.html

Это пример с одного популярного форума. Опять же его дорабатывали под свои нужды и тебе придется лишнее выкинуть, а свое добавить при необходимости.(в дерективе host укажи свой сайт)

Хм, странно все это. А может быть что файл robots не нужен вовсе?

Цитата с их офф форума: