Запрет в robots по слову?

zaxavar
На сайте с 08.10.2012
Offline
183
801

Здравствуйте.

Ногами не бейте сильно.

Курил поиск и документы яндекса, но явно так и не нашел...

Есть куча урлов вида

viewcategory/21-articles?dir=desc&limitstart=0

В гугле в настройках параметры URL он явно указывает что таких страниц (содержащих dir) очень много.

Поэтому я в настройках параметры URL

Указал что все урл, которые содержат dir - это сортировка, и индексировать их не надо.

Возникает вопрос, когда эти настройки начнут работать, и как эти же страницы запретить в robots, для остальных ПС?

Конкретно, как запретить все урлы, содержащие

?dir=desc

Такой варинт будет рабоать?

Disallow: *?dir=asc

Спасибо.

Вместо или вместе с Adsene - Adsterra - https://publishers.adsterra.com/referral/wf8uqXSYuu Раcскажу, подскажу.
Mik Foxi
На сайте с 02.03.2011
Offline
1206
#1

Да так должно работать.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
baron66
На сайте с 21.10.2010
Offline
54
#2

У яндекса есть инструмент которым можно проверить файл роботс ткт.. делай и проверяй через него

cheredov
На сайте с 07.04.2011
Offline
125
#3

zaxavar, для яндекса Директива Clean-param

Иван Чередов (http://ivan.cheredov.com/about/)
zaxavar
На сайте с 08.10.2012
Offline
183
#4

Господа, спасибо за исчерпывающие ответы.

Но остается 2 вопроса.

1. Надо ли заморачиваться с Clean-param, если

Disallow: *?dir=asc

и так будет работать?

2. Как быстро применяются настройки в параметрах URL в google.webmaster?

cheredov
На сайте с 07.04.2011
Offline
125
#5
zaxavar:
Господа, спасибо за исчерпывающие ответы.
Но остается 2 вопроса.

1. Надо ли заморачиваться с Clean-param, если

Disallow: *?dir=asc


и так будет работать?


2. Как быстро применяются настройки в параметрах URL в google.webmaster?

1. Clean-param можно конкретный параметр запретить. Можно и не заморачиваться.

2. Настройки то сразу применятся, только из индекса не сразу вылетят.

А так то и для Гугла работает

Disallow: *?dir=asc
zaxavar
На сайте с 08.10.2012
Offline
183
#6
cheredov:
А так то и для Гугла работает
Disallow: *?dir=asc

Много раз читал, что ждут месяцами, если просто в robots дать директиву.

AD
На сайте с 11.12.2012
Offline
43
#7

апну тему в связи с похожим вопросом, чтобы не плодить новые темы.

Вопрос: Disallow страниц с параметрами сортировок в robots.txt VS Clean-Param с точки зрения т.н. "статического веса" - что лучше?

Дело в том, что на одном из сайтов на основе популярного шаблона есть сортировка, но вот ссылки сортировки, например, по названию производителя в nofollow программист поместить не может.

Поэтому ищу способ минимизации потерь веса, которые с такими дырками и так есть. 😒

Обратиться к другому специалисту в силу не зависящих от меня причин, - возможности нет.

Очевидно, что запрет в роботс лучше, дабы страницы в индекс не попали, но приоритет - в сторону веса.

Точные позиции всегда - allpositions.ru (http://allpositions.ru/redirect/155868) Недорого продам домены http://calmhome.ru (http://calmhome.ru) ,http://cheap24.ru (http://cheap24.ru)
skylander
На сайте с 15.04.2006
Offline
71
#8

для запрета индексации страниц с любыми параметрами

директивы

Clean-param: * /*.html

и

Disallow: /*?

идентичны?

весь сайт с чпу

Stimul-Cash - $2'000 ежемесячно!!! (http://stimulcash.com/) (генерики+хербал && мастеркард+виза+амекс)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий