Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Помогите разобраться с робот TXT

A
На сайте с 04.03.2016
Offline
11
autoworld
557

В общем есть сайт, где у движка везде работают permalink, например в фильтре подбора товара.

Типичный адрес страницы которая попадает в мусор после того как люди фильтруют

http://site.ru/mobile-phones/?prices[]=9&categ_tags[]=55&categ_tags[]=48&categ_tags[]=50&filters_defined[]=128

Можно ли как нибудь прописать в роботс чтоб это не шла в индекс?

A9
На сайте с 04.01.2012
Offline
317
adel92
#1
autoworld:
В общем есть сайт, где у движка везде работают permalink, например в фильтре подбора товара.
Типичный адрес страницы которая попадает в мусор после того как люди фильтруют

http://site.ru/mobile-phones/?prices[]=9&categ_tags[]=55&categ_tags[]=48&categ_tags[]=50&filters_defined[]=128

Можно ли как нибудь прописать в роботс чтоб это не шла в индекс?

Да, можно, вот здесь расписано как

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar

в частности фрагмент 

User-agent: Yandex

Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'

                          # и '/cgi-bin/private/test.aspx'

Disallow: /*private # запрещает не только '/private',

                    # но и '/cgi-bin/private'
https://hstq.net - аренда серверов от 9.99$! Нет KYC! Много стран размещения на выбор! Акция - удвоим оплаченный период! Заказывайте!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий