Можно ли запретить индексирование страниц /page в Wordpress?

SG
На сайте с 10.10.2020
Offline
50
274
Поставил canonical на страницы page в WP, но они все равно попадают в индекс. В янде говорят что каноникал это рекомендательный тег. Вот и думаю закрыть нах page. При наличии sitemap опасно ли это делать?
L
На сайте с 19.03.2017
Offline
45
#1
SerhioGons :
Поставил canonical на страницы page в WP, но они все равно попадают в индекс. В янде говорят что каноникал это рекомендательный тег. Вот и думаю закрыть нах page. При наличии sitemap опасно ли это делать?

Сайтмап это некая инструкция для роботов - куда идти.
На большом сайте, когда закрыл от индексации кучу страниц, специально их запихивал в сайтмап, чтобы робот быстрее обошел.

В твоем случае я бы прописал noindex nofollow для страниц. Ты верно подметил, что canonical это рекомендация, также как и robots

ZEEW
На сайте с 03.06.2018
Offline
64
#2
Пропишите в robots.txt:
Disallow: */page/*
Александр
На сайте с 18.03.2020
Offline
146
#3
ZEEW #:
Пропишите в robots.txt:

Не поможет.
Пока не прописал noindex nofollow, пагинация была в индексе.

vold57
На сайте с 01.10.2007
Offline
261
#4
SerhioGons :
Поставил canonical на страницы page в WP, но они все равно попадают в индекс. В янде говорят что каноникал это рекомендательный тег. Вот и думаю закрыть нах page. При наличии sitemap опасно ли это делать?

О какой опасности речь?

Аудит сайтов - главная часть это тщательная ручная работа, а не отчеты сервисов и программ (https://vold57.com/audit). Продвижение сайтов (https://vold57.com/seo)
vold57
На сайте с 01.10.2007
Offline
261
#5
listban #:
В твоем случае я бы прописал noindex nofollow для страниц.
Александр #:
Пока не прописал noindex nofollow, пагинация была в индексе.
Nofollow зачем?
ZEEW
На сайте с 03.06.2018
Offline
64
#6
Александр #:

Не поможет.
Пока не прописал noindex nofollow, пагинация была в индексе.

Странно... Возможно, дело в том, что в последнее время, Яндекс некорректно читает роботс. Например, я пишу правило запрета для некоторых своих страниц (со знаком вопроса и т.д.). Проверяю в инструменте вебмастера роботс - пишет, что адрес запрещен в файле роботс. Но потом Яндекс все равно индексирует эту страницу, а вот гугл нет. Очень странно поведение...

altevsk
На сайте с 03.10.2010
Offline
117
#7
ZEEW #:
Странно... Возможно, дело в том, что в последнее время, Яндекс некорректно читает роботс. Например, я пишу правило запрета для некоторых своих страниц (со знаком вопроса и т.д.). Проверяю в инструменте вебмастера роботс - пишет, что адрес запрещен в файле роботс. Но потом Яндекс все равно индексирует эту страницу, а вот гугл нет. Очень странно поведение...

Быстроробот Яндекса может проиндексировать эти страницы, не смотря на роботс. Но спустя пару недель Яндекс все-равно выкинет их из индекса.

⛅ Подключу и настрою Cloudflare, фильтр для ботов ( https://zgoba.ru/cloudflare-filter-bots/ )
Александр
На сайте с 18.03.2020
Offline
146
#8
altevsk #:

Быстроробот Яндекса может проиндексировать эти страницы, не смотря на роботс. Но спустя пару недель Яндекс все-равно выкинет их из индекса.

Проблема в том, что пока не пропишешь еще и: <meta name='robots' content='noindex, follow' />
То они так и будут туда-сюда играть.
Я им писал по этому поводу, они мне ответили на тикет (все на скринах).

Довольно странная ситуация. Сами навязывают правила и рекомендации и сами же им не следуют...
В Google такой ерунды вообще нет.

jpg 2023-04-28_11u.jpg
jpg 2023-04-28_52j.jpg
Александр
На сайте с 18.03.2020
Offline
146
#9
vold57 #:
Nofollow зачем?
follow, простите.
ZEEW
На сайте с 03.06.2018
Offline
64
#10
altevsk #:
Быстроробот

нет, не  быстроробот. наблюдал на длинной дистанции - у яндекс реально проблемы с роботс. в этом году точно

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий