Какой смысл вClean-param для robots.txt

Смысл в том, что нельзя предсказать и закрыть все возможные варианты GET-ов через Disallow, т.к. юзер или бот может подставить произвольные --> они попадут в индекс. Clean-param обрезает все, сделать это более тонко и правильно. Ее синтаксис расчитан именно на работу с get-параметрами, в то время как disallow расчитан на работу с пагинацией.

Некоторые директивы доступны только в Яндексе, некоторые он не читает. Тем не менее, в 95% случаем хватает

User-agent: *

1. Что за бред, Disallow расчитан на работу с пагинацией? Пагинацию не закрывают для индексации. Максимум - мета-тег robots="yandex" moidex, follow.

2. Все get можно закрыть чаще всего так: Disallow: /*?*.

Не ругайтесь, допустимы разные каноны и повадки ваших собратьев.

( с мета-роботс-ноиндекс / рел=каноникал возникает проблема необходимости скачивания страницы ботом — для выяснения, что не надо индексировать / показывать сцылку на неё )

Пагинацию часто закрывают от индексации, т.к. зачастую она не несет никакой ценности, лишь плодит дубли. В частности, так делают ребята в курсе fseo (смотрел, грешен).

В некоторых случаях эффективнее не отрубать все через Disallow: /*?*, а проработать конкретные запросы, тем более, что у части сайтов до сих пор вместо чпу-урл адреса состоят как раз из get-ов.

Спасибо, вроде прояснилось))) Буду в своих роботсах использовать clean-param

К стати, а пример корректной директивы clean-param можете дать?

Дайте пару адресов страниц с лишними get-ами.

ну так сразу у меня нет))) поищу...

аргументировать свое мнение тем, что так было сказано в каком-то курсе каких-то петушков такое себе.

по теме:

с помощью clean-param убирают фильтрации в выборках например или какие-то партнерские метки, если не всегда utm используется, да впринципе полезная директива, очень не хватает ее в гугле (там как гребаная макака вручную надо ползать по вебмастеру и на каждом, с.ка, поддомене выпиливать эти параметры ручками)