Вопрос про роботс для яндекса

A
На сайте с 20.08.2010
Offline
7
1063

Есть в выдаче много мусорных страниц

http://www.site.ru/?search_vrew=on&type_search=10&start_page=81238&id_staff=0

Как в роботсе написать чтобы они не индексировались?

так?

Disallow: /?search_vrew

Fruit
На сайте с 15.07.2008
Offline
166
#1

Да, так.

Если нужные страницы формируются ЧПУ, без параметров (в идеале так и должно быть), то можно запретить все, что содержит параметры:

Disallow: /*?

[Удален]
#2

А теперь мой вопрос))

Терзают смутные сомненья на счет адекватности подобного выражения в роботс.тхт (обратить внимание на звездочки, встречаются 2 раза)

Disallow: /forum/topic.php?forum=*&topic=*&v=l

sigor
На сайте с 02.05.2011
Offline
15
#3
Fruit:
Да, так.

Если нужные страницы формируются ЧПУ, без параметров (в идеале так и должно быть), то можно запретить все, что содержит параметры:

Disallow: /*?

Это в идеале... А в реале - запретите посковый модуль сайта к индексации

Disallow: /*?search*

... и другие технические модули.

DO
На сайте с 20.01.2010
Offline
55
#4
sigor:

Disallow: /*?search*

звездочка на конце какой цели служит?

платно проведу аудит сайта и исправлю все технические проблемы, которые могут мешать продвижению (/ru/forum/594052)
nik_kent
На сайте с 05.02.2008
Offline
193
#5
dustyo_O:
звездочка на конце какой цели служит?

Для того чтобы такие как Вы придрались к такому, совершенно безобидному в данном случае символу. И имели возможность показать свои гениальные познания.

С уважением, Николай.
DO
На сайте с 20.01.2010
Offline
55
#6

nik_kent,

если вы готовы в своих проектах множить неграмотные конструкции - за ради бога.

стилистические ошибки есть ошибки, которые важны в масштабах проекта (или многих проектов, в случае с компанией). есть смысл поработать программистом в большой команде, чтобы понять это

nik_kent
На сайте с 05.02.2008
Offline
193
#7
dustyo_O:
множить неграмотные конструкции
dustyo_O:
ошибки есть ошибки

Где ошибка? Почитайте вот на досуге:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'
User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

P.S. Интересно, Вы за исправление таких "технических проблем" берете деньги с тех, кто у Вас аудит заказывает?

DO
На сайте с 20.01.2010
Offline
55
#8

я не стану вступать в полемику с человеком, который банально не понимает смысл слов, которые ему пишут.

если вам интересно - вы можете свой интерес совсем недорого развеять, все указано в теме которую вы уже успели прочитать.

nik_kent
На сайте с 05.02.2008
Offline
193
#9
dustyo_O:
я не стану вступать в полемику с человеком, который банально не понимает смысл слов, которые ему пишут

Т.е. даже прочитав хелп, Вы не смогли понять, что звездочка на конце это не ошибка и не неграмотная конструкция? Или боитесь признать свою ошибку?

dustyo_O:
можете свой интерес совсем недорого развеять

Не настолько интересно, чтобы дарить Вам за это деньги. Мои сайты в ТОПе и останутся там, даже если я наставлю звездочек в конце каждой строки роботса.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий