Все вопросы по robots.txt - 2

Ребята, помогите пожалуйста. Нужно настроить редиректы:

http://www.galakolor.ru/catalog/rastvoritel/rastvoritel-r-4.html?sphrase_id=1005

http://www.galakolor.ru/catalog/rastvoritel/rastvoritel-r-4.html?sphrase_id=1043

http://www.galakolor.ru/catalog/rastvoritel/rastvoritel-r-4.html?sphrase_id=1030

http://www.galakolor.ru/catalog/rastvoritel/rastvoritel-r-4.html?sphrase_id=983

Как это лучше сделать? Нашел информацию про header.php.

Но я боюсь лезть в этот код php.

1. Причем тут robots.txt???

2. Что значит "Настроить"?

Короче, для начала неплохо было бы научиться раздел выбирать. Я уж молчу про топик.

Не знал, куда лучше написать. Просто попадалось решение: закрыть эти страницы от индексации в robots.

Поэтому и хотел узнать, как лучше.

Хм. Мне кажется, или это поиск у вас такие странные URL делает?

Можно закрыть, если не нужны. Можно сделать редирект. Но интереснее - откуда они берутся.

А как закрыть?

Я с некоторых товаров ставил ссылку на этот. Это могло повлиять?

У вас поиск так работает. Вот ищу я растворитель, а он выдает мне ссылки вида:

/catalog/rastvoritel/rastvoritel-646.html?sphrase_id=1062

Разобраться - зачем поиск добавляет sphrase_id ну или хоть в robots.txt закрыть примерно так:

Disallow: *?sphrase_id

Дублей же надлаете.

Согласен, начинать нужно всегда с устранения причины появления этих URL. Это нужно копаться в CMS сайта. Если CMS не позволяет решить проблему, то применяют уже радикальные методы вроде запрета в robots.txt или редиректа.

В общем алгоритм такой :)

Aledvan, это неверный алгоритм. Потому что если страниц уже нагенерировалось - устранение в цмс ссылок на них будет пофиг. И удалять нужно принудительно.

Убрал но теперь в индекс попадают страници типа:

https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnye/filter/clear/apply/

https://rosa-montazh.com/catalog/radiatory/stalnye_panelnye/filter/clear/apply/

https://rosa-montazh.com/catalog/gorelki_dlya_kotlov/gazovye_gorelki/filter/clear/apply/

Как из заблокировать? Проходят как дубли title

Добрый день,

Не могу закрыть страницы типа в Битрикс:

https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnye/filter/clear/apply/

https://rosa-montazh.com/catalog/radiatory/stalnye_panelnye/filter/clear/apply/

https://rosa-montazh.com/catalog/gorelki_dlya_kotlov/gazovye_gorelki/filter/clear/apply/

Дирректива

Disallow: /filter/

не срабатывает.

Вот файл robots.txt

User-Agent: *

Disallow: /bitrix/

Disallow: /upload/

Disallow: /search/

Disallow: /akcii/

Disallow: /kompaniya/partnery/

Disallow: /kompaniya/personal/

Disallow: /download/

Allow: /search/map.php

Disallow: /cart/

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Disallow: *?FILTER*=

Disallow: *?ei=

Disallow: *?p=

Disallow: *?q=

Disallow: *?tags=

Disallow: *B_ORDER=

Disallow: *BRAND=

Disallow: *CLEAR_CACHE=

Disallow: *ELEMENT_ID=

Disallow: *price_from=

Disallow: *price_to=

Disallow: *PROPERTY_TYPE=

Disallow: *PROPERTY_WIDTH=

Disallow: *PROPERTY_HEIGHT=

Disallow: *PROPERTY_DIA=

Disallow: *PROPERTY_OPENING_COUNT=

Disallow: *PROPERTY_SELL_TYPE=

Disallow: *PROPERTY_MAIN_TYPE=

Disallow: *PROPERTY_PRICE

=

Disallow: *S_LAST=

Disallow: *SECTION_ID=

Disallow: *SECTION

=

Disallow: *SHOWALL=

Disallow: *SHOW_ALL=

Disallow: *SHOWBY=

Disallow: *SORT=

Disallow: *SPHRASE_ID=

Disallow: *TYPE=

Disallow: /filter/

Sitemap: https://rosa-montazh.com/sitemap.xml

Подскажите как закрыть от индекса