Все вопросы по robots.txt - 2

богоносец
На сайте с 30.01.2007
Offline
726
#91

Кто прокомментирует https://eda.yandex/robots.txt

Так ли надо делать?

Musicathome
На сайте с 20.04.2012
Offline
109
#92

Добрый день. На сайте несколько каталогов, и они генерируют дубли контента. В основном, из-за get-запросов вида:

?sort=price&sort_order=asc

?view=list

Как правильно закрыть такие страницы от индексации?

Правильными будут такие директивы:

Disallow: *sort*

Disallow: *view*

?

lospirata
На сайте с 24.12.2010
Offline
103
#93

Будут правильными, но таким образом вы можете закрыть страницы, содержащие в адресе "sort" и "view". Проще закрыть все запросы или использовать знак вопроса с нужными переменными в директиве.

Disallow: *?
It Can't Rain All the Time Блог вебмастера (https://lospirata.ru/)
Musicathome
На сайте с 20.04.2012
Offline
109
#94

Спасибо. Да, что-то проглядел.

Lord Maverik
На сайте с 15.04.2003
Offline
471
#95

Need help.

Подскажите плз, как в роботс txt реализоваться такую штуку.

Сейчас у меня там есть инструкция:

Disallow: *?

Типо все страницы с параметрами get вообще не надо видеть и знать о них, ибо дубли.

Но при этом на css у меня тоже стоит get параметр:

/tpl/css/style.css?update=1

Как указать роботу, что все с get нельзя, а css можно?

RedMall.Ru (https://redmall.ru) - Товары из Китая (Таобао, Tmall) с проверкой качества, скидка для форумчан 7% Партнерская программа 2 уровня: 5% + 5%. Подробнее. (https://redmall.ru/about/partner/)
C
На сайте с 23.02.2013
Offline
45
#96

Allow: *?update*

Lord Maverik
На сайте с 15.04.2003
Offline
471
#97

Allow: /tpl/main/css/*

Allow: /tpl/m/css/*

Да, так прокатило )

OC
На сайте с 28.03.2018
Offline
0
#98

Всем добрый день подскажите плиз как закрыть в robots.txt все что встречается с /domenUrl/ с этим названием

вот пример пару страниц которые надо закрыть

kiev.ua/tovar-dlya-detey/obuv-detskaa-dla-devocek/domenUrl/tovar-dlya-detey/obuv-detskaa-dla-devocek/

kiev.ua/tovar-dlya-detey/odezda-dla-malcikov/domenUrl/tovar-dlya-detey/odezda-dla-malcikov/

kiev.ua/oplata-i-dostavka/domenUrl/oplata-i-dostavka/

S
На сайте с 07.11.2016
Offline
23
#99

Подскажите, как закрыть от индексации раздел третьего уровня вложенности с динамическими параметрами в адресе?

1) Вот такого правила будет достаточно?

Disallow: /*/*/*?

2) Или нужно добавлять правило, чтобы индексировался четвертый уровень и последующие?

Allow: /*/*/*/*

3) При указании Disallow: /*/*/*? будут ведь индексироваться первый и второй уровни?

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#100

1) Нет.

2) Да.

3) Будут.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий