Директива Clean-param в Robots.txt

12
Artem189
На сайте с 14.10.2015
Offline
173
1802

Всем добра. Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том что  некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Помогите пжлст прописать эту директиву в Robots.txt. У самого ничего не получается, при проверке в Вебмастере файла robots.txt пишет, что директива Clean-param не корректна.

Я так понял, что этот GET-параметр общий для разных URL  у меня ?_gl=1*   потому что url которые приводятся в примере выглядят так:

https://domen. ru/названиепоста1/?_gl=1*3xanjz*_ga*YW1wLVJsY3VaUFNoLWxXdEtuby11enR6aFRSNWsyRWdROEJQZy1iUDktbE1XTjBlQXlENE5VWTgyaWpyRF9CdlpJQmo.

https://domen. ru/названиепоста2/?_gl=1*nw6dru*_ga*YW1wLWlGbnhDTlJ6WUdBdFYyMktORks5MTJFRERZRmZ6LWxzbXpCUmJNLVRiOHBTTjdpMDRyazFlcGFaTksxUUpZeDk .


и т.д. т.е. после обычного url добавляется  ?_gl=1* + набор знаков какой-то

Подскажите пожалуйста как правильно прописать директиву Clean-Param в robots.txt, чтобы ушла критичная ошибка из Вебмастера. Всем большое спасибо, кто откликнется 


Лучший плагин кеширования для Wordpress, который выведет нагруженный сайт (с рекламой, счетчиками и т.д.) в зеленую зону и реально сделает по Page Speed 99/100 +- https://clck.ru/37GDWU
IS
На сайте с 16.08.2006
Offline
158
#1

Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. 

Имеется ввиду что   https://domen. ru/названиепоста1/?_gl=1*3xanjz дублирует просто  https://domen. ru/названиепоста1

Поэтому думаю правильно

Clean-param: _gl /названиепоста1

Clean-param: _gl /названиепоста2



Artem189
На сайте с 14.10.2015
Offline
173
#2
Igor-san #:

Имеется ввиду что   https://domen. ru/названиепоста1/?_gl=1*3xanjz дублирует просто  https://domen. ru/названиепоста1

Поэтому думаю правильно

Clean-param: _gl /названиепоста1

Clean-param: _gl /названиепоста2



Спасибо большое, но таких постов штук 50, не хотелось бы так роботс засирать. Я имел ввиду, что может быть можно одно правило прописать для всех постов?

JS
На сайте с 19.11.2020
Offline
97
#3

А так что нельзя запретить эти страницы к индексированию?

User-agent: *

Disallow: /*?

Или у тебя есть страницы начинающиеся со знака вопроса, которые нужно индексировать?

JS
На сайте с 19.11.2020
Offline
97
#4

Можно и так закрыть...

Disallow: /*?_gl=1

S
На сайте с 08.01.2010
Offline
92
#5

Clean-param: _gl /*


W1
На сайте с 22.01.2021
Offline
304
#6
sinclastic #:

Clean-param: _gl /*

Путь можно не указывать.

Мой форум - https://webinfo.guru –Там я всегда на связи
VictoriaM
На сайте с 23.06.2020
Offline
40
#7

Такая же ошибка прилетела в вебмастер

У меня url примера выглядит так:

https://domen.ru/категория/название поста?unapproved=8040

(без / как в примере выше)

Значит мне нужно прописать в роботс:

User-agent: Yandex

Clean-param: ?unapproved=

или 

User-agent: *
Disallow: *?unapproved=

?Подскажите

VictoriaM
На сайте с 23.06.2020
Offline
40
#8

В справке яндекса прописано что для  Clean-param нельзя использовать знаки вопроса

Значит в моем случае нужно прописать:

User-agent: *
Disallow: *?unapproved=

??

Lazy Badger
На сайте с 14.06.2017
Offline
228
#9
VictoriaM #:

В справке яндекса прописано что для  Clean-param нельзя использовать знаки вопроса

Чика, а до конца справку прочитать - "многобукаф"?!

User-agent: Yandex
Disallow:
Clean-param: unapproved

и фсе! Щассте...

Производство жести методом непрерывного отжига
VictoriaM
На сайте с 23.06.2020
Offline
40
#10
Lazy Badger #:

Чика, а до конца справку прочитать - "многобукаф"?!

и фсе! Щассте...

Хамский тон смени😡  Lazy

За код спасибо.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий