Wordpress и robots.txt

12
I
На сайте с 17.09.2019
Offline
14
695

Всем привет!
Есть интернет-магазин на Вордпресс. В robots указано Disallow: /?

В индексе поисковиков появилось много дублей категорий товаров и самих товаров следующего формата:
domain.ru/tovar/?add_to_wishlist=[цифры]
domain.ru/category/?filter_razmer=[перечисление размеров]

Правильно ли будет заменить Disallow: /? на Disallow: /?*  и стоит ли убирать дубли вручную в Вебмастере?

W1
На сайте с 22.01.2021
Offline
286
#1
ichbin :
заменить Disallow: /? на Disallow: /?*

Это одно и то же.

Мой форум - https://webinfo.guru –Там я всегда на связи
S_E_O Алексей - Строительные ссылки
На сайте с 22.07.2006
Offline
308
ichbin :
заменить Disallow: /? на Disallow: /?*

Да.

⚡ Размещение ссылок на 50 строительных сайтах без бирж: ⚡пакет №5 ( https://searchengines.guru/ru/forum/977443 )⚡пакет №1 https://searchengines.guru/ru/forum/922181 ⚡ пакет №2 ( https://searchengines.guru/ru/forum/925481 ), и ⚡пакет №3 ( https://searchengines.guru/ru/forum/938528 ) .
I
На сайте с 17.09.2019
Offline
14
#3
webinfo #:

Это одно и то же.

а каким образом можно избежать индексации подобных ссылок  domain.ru/tovar/?add_to_wishlist=[цифры] и
domain.ru/category/?filter_razmer=[перечисление размеров]  ?

В robots добавить */*/?  ?

Vladimir SEO
На сайте с 19.10.2011
Offline
1717
#4
ichbin #:
а каким образом можно избежать индексации подобных ссылок  domain.ru/tovar/?add_to_wishlist=[цифры] и
domain.ru/category/?filter_razmer=[перечисление размеров]  ?
гарантировано только мета ноиндекс,  гугл может игнорить роботс тхт
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
YmersY
На сайте с 29.01.2007
Offline
253
#5
Vladimir SEO #:
гугл может игнорить роботс тхт

Игнорит вот прям в 90% случаев. Поэтому я лично после подобных экспериментов нынче ваще не морочусь с robots.txt, на некоторых проектах его даже нет в принципе как такового. И норм, всё в ТОПе, никто не жалуется.

Ссылки под Google со СМИ - дешевле, чем в биржах - Пиши в личку, не стесняйся! Если же у вас есть ссылки под Google дешевле бирж - тоже пишите, куплю!
Vladimir SEO
На сайте с 19.10.2011
Offline
1717
#6
YmersY #:

Игнорит вот прям в 90% случаев. Поэтому я лично после подобных экспериментов нынче ваще не морочусь с robots.txt, на некоторых проектах его даже нет в принципе как такового. И норм, всё в ТОПе, никто не жалуется.

есть условия  определенные при которых он игнорит, и те страницы которые игнорит надо изучить и сделать посадками, правильно слинковав
L7
На сайте с 23.04.2005
Offline
195
#7
ichbin :

Всем привет!
Есть интернет-магазин на Вордпресс. В robots указано Disallow: /?

В индексе поисковиков появилось много дублей категорий товаров и самих товаров следующего формата:
domain.ru/tovar/?add_to_wishlist=[цифры]
domain.ru/category/?filter_razmer=[перечисление размеров]

Правильно ли будет заменить Disallow: /? на Disallow: /?*  и стоит ли убирать дубли вручную в Вебмастере?

Не правильно, потому что "Disallow: /?" и "Disallow: /?*" означает ровно одно и то же😊

Нужно дополнительно добавить запись:

Disallow: /*?

Она запретит индексирование вообще любых страниц, в пути которых есть "?".

Проверка добытых беклинков, мастхэв для сеошников ( https://prozavr.ru/ ) | Массовая проверка Яндекс ИКС ( https://prozavr.ru/tools/massovaya_proverka_iks.php ) | Скачивалка фото из ВК и Пинтереста ( https://prozavr.ru/tools/parser_kartinok.php ), для получения тонн картинок для ваших проектов.
G6
На сайте с 12.07.2007
Offline
162
#8

Добавьте в файл функций вашей темы:

function yw_noindex_follow() {
$url = $_SERVER['REQUEST_URI'];
    if (strpos($url,'?add_to_wishlis') !== false) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
}
add_action( 'wp_head', 'yw_noindex_follow', 1);

Проверьте конечно.

Можно вообще все гет отправить ноиндекс.

add_action( 'wp_head', function() {
    if (isset($_GET) && $_GET) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
}, 1);
isa0962
На сайте с 11.08.2016
Offline
51
#9
Как закрыть вот такие страницы цифрами в роботсе https://skr.sh/sC1tRxuCovd
Скриншот 16-01-2022 02:04:29.jpg
Скриншот 16-01-2022 02:04:29.jpg
  • skr.sh
Снято с помощью Скриншотер.рф
Delahoya
На сайте с 13.11.2011
Offline
135
#10

эх оптимизаторы самого главного не заметили - неправильное правило

конечно, url не закрыты от индексации. поскольку верное правило  Disallow: */?

ваши url лежат не в корне домена, а на втором уровне.

и да гугл очень часто игнорит роботс, но такой мусор чаще выкидывает. для надежности использовать nofollow, noindex.

Когда-то здесь будет реклама.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий