Robots txt

12
L
На сайте с 10.02.2015
Offline
268
#11

<s>А в чем проблема?
Юзвери оставляют такие ссылки? Прям так много?
Это ж хорошо.
Делайте 301 редирект или каноникал.
Или метрика? Отключите обход по ней.</s>

Подумал за yclsid.
Перепутал с темой https://searchengines.guru/ru/forum/1142297#unread
А вообще решение есть, но вам его никто не скажет.
Хотя под яндекс CleanParam выглядит норм.

Антоний Казанский
На сайте с 12.04.2007
Offline
814
#12
Andrew Z :
Поскольку таких ID (vid_..., cvet_...) сотни

И это довольно неудачная реализация, потому что id надо выносить в значение get параметра, а не в имя get параметра.

В вашем случае действительно проблемно настроить clean-param, потому что вариаций имён самих get параметров множество.

С самого начало, нужно было реализовывать /?color=значение&size=значение


Andrew Z #:
На сколько я знаю данные страницы(https://partnertorg.com/mebel-dlya-vannoy-komnaty?s[cvet_956][0]=191355509) лучше склеивать для веса с главной страницей, или нет?

Нет.

1) У вас в примере выше не Главная, а внутренняя страница.

2) Веса склеиваются через 301 редирект, других вариантов нет.

3) Страницы фильтров не склеивают, они либо не учитываются в индексации по clean-param, либо в настройках меta тегов (noindex), либо запрет индексации через код ответа сервера, либо через robots.txt (но тут Гугл может игнорировать директивы запрета индексации).


Andrew Z #:
Но учитывая то, что система формирует таких страниц десятки, а то и сотни, перечислять их все вручную в robots.txt для директивы Clean param - невозможно. В этом и вопрос. 

Да, потому что реализовывать навигацию с самого начало нужно было с seo специалистом, а не как в моменте захотел программист.

LEOnidUKG вам правильно подсказал - ставьте задачу программисту, чтобы страницы фильтров выводились noindex, follow.

Для индекса эти страницы не нужны, они бесконечно будут генерировать по параметрам фильтра. Буду залетать в индекс и вылетать из него по кругу. Такие явления надо пресекать.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов, внедрение эффективных решений цифрового маркетинга, точечная и ответственная работа с ПФ. ► Продвижение бизнес сайтов по доступной цене (от 15 тыс. / месяц), сопровождение -> 900 рублей/час.
AZ
На сайте с 31.01.2026
Offline
6
#13
Антоний Казанский #:

И это довольно неудачная реализация, потому что id надо выносить в значение get параметра, а не в имя get параметра.

В вашем случае действительно проблемно настроит clean-param, потому что вариаций имён самих get параметров множество.

С самого начало, нужно было реализовывать /?color=значение&size=значение

Тогда color, size и прочее вы бы перечислили в Clean-param и вопрос был бы снят.


Нет.

1) У вас в примере выше не Главная, а внутренняя страница.

2) Веса склеиваются через 301 редирект, других вариантов нет.

3) Страницы фильтров не склеивают, они либо не учитываются в индексации по clean-param, либо в настройках меta тегов (noindex), либо запрет индексации через код ответа сервера, либо через robots.txt (но тут Гугл может игнорировать директивы запрета индексации).


Да, потому что реализовывать навигацию с самого начало нужно было с seo специалистом, а не как в моменте захотел программист.

LEOnidUKG вам правильно подсказал - ставьте задачу программисту, чтобы страницы фильтров выводились noindex, follow.

Для индекса эти страницы не нужны, они бесконечно будут генерировать по параметрам фильтра. Буду залетать в индекс и вылетать из него по кругу. Такие явления надо пресекать.

Подскажите пожалуйста, я правильно понимаю, что предпочтительнее ставить на фильтрах  noindex, follow или можно сделать проще и в Robots поставить директиву Disallow: *? . По мне так поставить директиву в Robots проще, или есть в этом какой-то минус?  
Антоний Казанский
На сайте с 12.04.2007
Offline
814
#14
Andrew Z #:
Подскажите пожалуйста, я правильно понимаю, что предпочтительнее ставить на фильтрах  noindex, follow или можно сделать проще и в Robots поставить директиву Disallow: *? . По мне так поставить директиву в Robots проще, или есть в этом какой-то минус?  

Минус (а скорее нюанс) в том, что Гугл может игнорировать инструкции robots.txt, а вот запрет в мета (или в коде ответа сервера) и Яндекс, и Гугл учитывают корректно, поэтому возвращаясь к первоначальному совету Леонида - настраиваете noindex, follow на страницы фильтров и в принципе robots.txt можно не менять.

Запрет Disallow физические запрещает обходить страницы, но Гугл может игнорировать эту директиву. 

Ponyk
На сайте с 17.08.2025
Offline
32
#15
леонид1161 #:

вот так: Disallow: *?

Ненадо. Я не спец, но такие дисалловы как бы вообще всë что с квери_стринг параметром могут запретить. 

ВидеоЧат Партнëрка https://webmasters.coomeet.me/16887042894119
AZ
На сайте с 31.01.2026
Offline
6
#16
Andrew Z #:
Подскажите пожалуйста, я правильно понимаю, что предпочтительнее ставить на фильтрах  noindex, follow или можно сделать проще и в Robots поставить директиву Disallow: *? . По мне так поставить директиву в Robots проще, или есть в этом какой-то минус?  
Антоний Казанский #:

Минус (а скорее нюанс) в том, что Гугл может игнорировать инструкции robots.txt, а вот запрет в мета (или в коде ответа сервера) и Яндекс, и Гугл учитывают корректно, поэтому возвращаясь к первоначальному совету Леонида - настраиваете noindex, follow на страницы фильтров и в принципе robots.txt можно не менять.

Запрет Disallow физические запрещает обходить страницы, но Гугл может игнорировать эту директиву. 

noindex, follow или noindex, nofollow?
Антоний Казанский
На сайте с 12.04.2007
Offline
814
#17
Andrew Z #:
noindex, follow или noindex, nofollow?

Указано выше,

Антоний Казанский #:
настраиваете noindex, follow на страницы фильтров
Ponyk
На сайте с 17.08.2025
Offline
32
#18
Andrew Z #:
noindex, follow или noindex, nofollow?

Фоллую это разрешение переходить по ссылкам на странице. Как думаю - первый вариант. А вообще бот может и не учитывать эти теги. Вообще различных ботов полно. Но вроде боты яндекса и гугла ноуиндекс видят, вот ноуфоллов - врядли чтут. 

buydevacc
На сайте с 29.10.2024
Offline
12
#19

Нужно проанализировать код и понять как он формирует ссылки. Решение вашей задачи не в роботс а в файле htaccess.

Будет проще обратиться к разработчику этого движка или самим проанализировать.

Индивидуальные и корпоративные аккаунты Apple Developer. Любое количество под любые потребности.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий