Все вопросы по robots.txt - 2

Кто прокомментирует https://eda.yandex/robots.txt

Так ли надо делать?

Добрый день. На сайте несколько каталогов, и они генерируют дубли контента. В основном, из-за get-запросов вида:

?sort=price&sort_order=asc

?view=list

Как правильно закрыть такие страницы от индексации?

Правильными будут такие директивы:

Disallow: *sort*

Disallow: *view*

?

Будут правильными, но таким образом вы можете закрыть страницы, содержащие в адресе "sort" и "view". Проще закрыть все запросы или использовать знак вопроса с нужными переменными в директиве.

Disallow: *?

Спасибо. Да, что-то проглядел.

Need help.

Подскажите плз, как в роботс txt реализоваться такую штуку.

Сейчас у меня там есть инструкция:

Disallow: *?

Типо все страницы с параметрами get вообще не надо видеть и знать о них, ибо дубли.

Но при этом на css у меня тоже стоит get параметр:

/tpl/css/style.css?update=1

Как указать роботу, что все с get нельзя, а css можно?

Allow: *?update*

Allow: /tpl/main/css/*

Allow: /tpl/m/css/*

Да, так прокатило )

Всем добрый день подскажите плиз как закрыть в robots.txt все что встречается с /domenUrl/ с этим названием

вот пример пару страниц которые надо закрыть

kiev.ua/tovar-dlya-detey/obuv-detskaa-dla-devocek/domenUrl/tovar-dlya-detey/obuv-detskaa-dla-devocek/

kiev.ua/tovar-dlya-detey/odezda-dla-malcikov/domenUrl/tovar-dlya-detey/odezda-dla-malcikov/

kiev.ua/oplata-i-dostavka/domenUrl/oplata-i-dostavka/

Подскажите, как закрыть от индексации раздел третьего уровня вложенности с динамическими параметрами в адресе?

1) Вот такого правила будет достаточно?

Disallow: /*/*/*?

2) Или нужно добавлять правило, чтобы индексировался четвертый уровень и последующие?

Allow: /*/*/*/*

3) При указании Disallow: /*/*/*? будут ведь индексироваться первый и второй уровни?

1) Нет.

2) Да.

3) Будут.