Закрывать ли в robots.txt страницы разделов?

DN
На сайте с 25.06.2015
Offline
24
456

Существует информация, что сегодня не стоит практиковать чрезмерный запрет адресов в robots.txt, по крайне мере для Google. Управлять индексацией страниц лучше через метатег robots.

У меня сайты на WP и имеются страницы вида:

www.site.ru/?p=1542 (который редиректит 301 на страницу с ЧПУ)

www.site.ru/?add-to-cart=1454 (при добавлении в корзину, вероятно, стоят на кнопках)

Все эти страницы генерятся за счет плагина WooCommerce и самой структуры движка.

Кто работает с этой cms, подскажите, плиз, убирали ли ссылки такого порядка, или что-то делали с их настройкой, или просто закрывали в robots.txt?

Как в этом случае вообще правильно настраивать такие страницы:

- убирать вообще

- ставить тег canonical

- редиректить на страницу с ЧПУ

- проставлять nofollow, noindex

или что делать вообще, чтобы не было система адекватно понимала, что это не дубли, и адекватно добавляла в индекс нужные с ЧПУ, без корзин и прочих параметров?

OD
На сайте с 08.12.2016
Offline
24
#1

1) шортлинки - можно отключить прописав строчку кода в файле functions.php

2) можно закрывать в robots.txt, но если сильно переживаете - смотрите как сделали топовые конкуренты.

lospirata
На сайте с 24.12.2010
Offline
103
#2

Зарубежные товарищи, где-то читал, рекомендуют добавлять add-to-cart в robots.txt, хотя сам WooCommerce ставит nofollow на ссылку.

А страницы без ЧПУ закрываются просто. Здесь же и всевозможные фильтры.

Disallow: *?
It Can't Rain All the Time Блог вебмастера (https://lospirata.ru/)
minsky
На сайте с 01.09.2012
Offline
219
#3
danila_novi:
Существует информация, что сегодня не стоит практиковать чрезмерный запрет адресов в robots.txt, по крайне мере для Google.

robots.txt для гугла пофиг, он все равно индексирует закрытые страницы, особенно если на них ссылаются с других ресурсов. А вот контент, да, не индексирует

Продвигаю сайты ссылками, ускоряю индексацию сайтов и отдельных страниц ( https://kwork.ru/user/minsky?ref=23382 )
SeVlad
На сайте с 03.11.2008
Offline
1609
#4
Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий