Избавиться от дублей страниц, CMS 1С-Битрикс

tankoff
На сайте с 23.12.2010
Offline
112
5399

После последнего обновления ядра CMS 1С-Битрикс, на сайте появились дубли страниц, отличающиеся от основных символами в урл вида /?set_filter=y

Опытным путем было установлено, что в индекс лезут те страницы, где размещен так называемый умный фильтр каталога, из-за которого в коде сайте такой урл

domen.com/?set_filter=y&arrFilter_5_MIN=137

137 - значение зависит от выбранных в фильтре параметров.

В robots.txt такие записи:

Disallow: /?set_filter=y

Disallow: /?arrFilter

Disallow: /?set_filter=y&arrFilter_5_MIN

Не помогает.

Как решить сию проблему?

Слил траф (http://webmaster.leads.su/register?ref_id=6922) на 2-комнатную квартиру, машину и выиграл BMW...
[Удален]
#1

Гляжу, вопросы про Битрикс слабый отклик имеют....

В настройках самой CMS нет возможности указывать типы динамических страниц, не подлежащие индексации?

tankoff
На сайте с 23.12.2010
Offline
112
#2
blackbear:
Гляжу, вопросы про Битрикс слабый отклик имеют....

В настройках самой CMS нет возможности указывать типы динамических страниц, не подлежащие индексации?

Да вроде нет.

Подсказал мне человек, как правильно закрыть в robots.txt такие урлы. Часть уже отправил на удаление через форму в Я.Веб мастер, а часть пока не получается закрыть.

P.S. Потому не находят, ибо любит наш народ халяву. А Битрикс - платный движок. К сожалению, их саппорт не решает вопросы с настройкой robots.txt

Zegeberg
На сайте с 30.09.2010
Offline
282
#3

Почему Disallow: /?set_filter=y&arrFilter_5_MIN* не работает, должно.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Антибот ( https://antibot.cloud/?ref=15262 )
tankoff
На сайте с 23.12.2010
Offline
112
#4
Zegeberg:
Почему Disallow: /?set_filter=y&arrFilter_5_MIN* не работает, должно.

Я перед слэшем знак * поставил - не работает.

Попробую ваш вариант.

Спасибо.

zhurikzzz
На сайте с 16.09.2012
Offline
102
#5

Сделайте вот так вот Disallow: /*?

tankoff
На сайте с 23.12.2010
Offline
112
#6

Zegeberg, не получается, ибо при попытке удалить урл в панели ВМ, пишет "урл не запрещен..."

---------- Добавлено 11.03.2016 в 17:56 ----------

zhurikzzz, простите, но так я закрою нужные урлы.

Так такая сложная структура сайта...

MM
На сайте с 14.07.2014
Offline
58
#7
tankoff:
После последнего обновления ядра CMS 1С-Битрикс, на сайте появились дубли страниц, отличающиеся от основных символами в урл вида /?set_filter=y
Опытным путем было установлено, что в индекс лезут те страницы, где размещен так называемый умный фильтр каталога, из-за которого в коде сайте такой урл
domen.com/?set_filter=y&arrFilter_5_MIN=137

137 - значение зависит от выбранных в фильтре параметров.

В robots.txt такие записи:

Disallow: /?set_filter=y
Disallow: /?arrFilter
Disallow: /?set_filter=y&arrFilter_5_MIN

Не помогает.

Как решить сию проблему?

В настройках Каталога не вариант прописать каноническую ссылку!?

http://joxi.ru/nAybeDJhX4KXQr

И вот: http://dev.1c-bitrix.ru/learning/course/?COURSE_ID=35&LESSON_ID=7199

Английская обувь (https://english-shoes.ru) - это индивидуальность которая всегда в моде!
DU
На сайте с 24.06.2009
Offline
110
#8
tankoff:
После последнего обновления ядра CMS 1С-Битрикс, на сайте появились дубли страниц, отличающиеся от основных символами в урл вида /?set_filter=y
Опытным путем было установлено, что в индекс лезут те страницы, где размещен так называемый умный фильтр каталога, из-за которого в коде сайте такой урл
domen.com/?set_filter=y&arrFilter_5_MIN=137

137 - значение зависит от выбранных в фильтре параметров.

В robots.txt такие записи:

Disallow: /?set_filter=y
Disallow: /?arrFilter
Disallow: /?set_filter=y&arrFilter_5_MIN

Не помогает.

Как решить сию проблему?

Всё должно работать, если в/с robots ничего не нахимичено:

bruder
На сайте с 03.02.2015
Offline
199
#9
tankoff:
P.S. Потому не находят, ибо любит наш народ халяву. А Битрикс - платный движок. К сожалению, их саппорт не решает вопросы с настройкой robots.txt

В Битриксе платная не только лицензия, но и поддержка, которая ему необходима. Покупать ее нужно, раз уж вляпались в это Г.

G
На сайте с 04.01.2012
Offline
35
#10
tankoff:
После последнего обновления ядра CMS 1С-Битрикс, на сайте появились дубли страниц, отличающиеся от основных символами в урл вида /?set_filter=y
Опытным путем было установлено, что в индекс лезут те страницы, где размещен так называемый умный фильтр каталога, из-за которого в коде сайте такой урл
domen.com/?set_filter=y&arrFilter_5_MIN=137

137 - значение зависит от выбранных в фильтре параметров.

В robots.txt такие записи:

Disallow: /?set_filter=y
Disallow: /?arrFilter
Disallow: /?set_filter=y&arrFilter_5_MIN

Не помогает.

Как решить сию проблему?

как-то раз видел шаблон этой кмс нулленой,но версия старая была. вроде в шаблоне можно условия выставлять, посмотрите если есть то нужно сделать такое условие если set_filter=y то вывести каноническую ссылку или метатег роботс с запретом индиксации.

всегда готов помочь, за недорого, если что-то сделать не получается. беру на обслуживание сайты на постоянной основе. установка скриптов и модулей, обновление, принимаю благодарности в любом виде

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий