Приставка к урл html?customize_changeset..... Как избавиться? Зарыть в роботс.тхт?

12 3
Сергей
На сайте с 13.09.2012
Offline
113
1510

Всем привет! Начал отслеживать обход страниц Яндексом и ужаснулся от урл https://сайт/категория/статья.html?customize_changeset_uuid=9a9c5cf4-8784-4ccf-9872-da888b2a6948&customize_theme=mh-foodmagazine&customize_messenger_channel=preview-0

Не пойму откуда взялся такой длинный хвост и как от него избавиться или хотя бы запретить его в роботс тхт. 

Вкусные рецепты здесь ( https://vse-o-ede-online.ru/ ) заходи, буду рад!
Mik Foxi
На сайте с 02.03.2011
Offline
1202
#1
роботс, мета тег запрещающий индексацию, но самое правильное это рел каноникал настроить.
Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
Сергей
На сайте с 13.09.2012
Offline
113
#2
Mik Foxi #:
роботс, мета тег запрещающий индексацию, но самое правильное это рел каноникал настроить.

Статья имеет нормальный урл и рел каноникал есть. Проблема в дубле страницы с непонятным хвостом, описанным выше, которая попадает в индекс Яндекса. Яндекс видит  HTTP-коды 500

Ошибку наблюдаю в Яндекс Вебмастер

Иннокентий Шниперсон
На сайте с 02.07.2022
Offline
15
Сергей #:

Статья имеет нормальный урл и рел каноникал есть. Проблема в дубле страницы с непонятным хвостом, описанным выше

А это говнище попало в индекс или нет? Может вы зря переживаете?

— Вон! — Где? — Вот отсюда!
Сергей
На сайте с 13.09.2012
Offline
113
#4
Иннокентий Шниперсон #:

А это говнище попало в индекс или нет? Может вы зря переживаете?

Информацию наблюдаю в Яндекс Вебмастер, в разделе 

Обход10  последних изменений
 показывает, что при обходе   было N / a ⇒ стало 500  
Иннокентий Шниперсон
На сайте с 02.07.2022
Offline
15
Сергей #:

Информацию наблюдаю в Яндекс Вебмастер, в разделе 

Обход 10  последних изменений
 показывает, что при обходе   было N / a ⇒ стало 500  

Ну в роботсе всё что содержит "?" в урле почикайте да и всё, чего переживать-то. У вас же "?" точно не содержится в урлах каких-то жизненно-важных страниц?

Сергей
На сайте с 13.09.2012
Offline
113
#6
Иннокентий Шниперсон #:

Ну в роботсе всё что содержит "?" в урле почикайте да и всё, чего переживать-то. У вас же "?" точно не содержится в урлах каких-то жизненно-важных страниц?

? в урлах не содержиться. Я не знаю как правильно написать правило в роботс.  У меня есть несколько правил с "?" 

Disallow: /?
Disallow: *?s= 
Disallow: *?replytocom

Но данные правила насколько я понимаю для статей на сайте не срабатывают. Путь такой домен/категория/статья.html 

Антоний Казанский
На сайте с 12.04.2007
Offline
774
#7
Сергей :
Не пойму откуда взялся такой длинный хвост

Скорее всего админка формирует эти адреса, а привязка Метрики к Вебмастеру сообщает поисковой системе о наличии этих адресов. Похоже на служебные адреса, которые формируются в режиме визуальной работы через админку.


Сергей :
как от него избавиться или хотя бы запретить его в роботс тхт

Clean-param: customize_changeset_uuid

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Иннокентий Шниперсон
На сайте с 02.07.2022
Offline
15
Сергей #:
Я не знаю как правильно написать правило в роботс.

В Яндекс вебмастере есть инструмент "Анализ robots.txt", вот туда вбейте ваши урлы и добавьте этот, который вас беспокоит. Ну и потренируйтесь. 

Disallow: /*? — скорее вот такое вам подойдёт
Vladimir
На сайте с 07.06.2004
Offline
607
#9
Сергей :

Всем привет! Начал отслеживать обход страниц Яндексом и ужаснулся от урл https://сайт/категория/статья.html?customize_changeset_uuid=9a9c5cf4-8784-4ccf-9872-da888b2a6948&customize_theme=mh-foodmagazine&customize_messenger_channel=preview-0

1. закрыть доступ к вебстатистике хостинга RewriteRule webstat/(.*) https://сайт [R=301,L]

2. закрыть доступ вообще к /? , либо частично к ?customize


https://oddstyle.ru/wordpress-2/novosti-wordpress/wordpress-4-7-budet-postavlyatsya-vmeste-s-infrastrukturoj-vzyatoj-ot-plagina-customize-snapshots.html?ysclid=l5a113dv80664904840

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Сергей
На сайте с 13.09.2012
Offline
113
#10
Disallow: /*?

Добавил, проверил, вроде  закрывает от индексации. Спасибо! Буду наблюдать

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий