Что нужно сделать чтобы запретить Гуглу и Яндексу индексировать постраничную навигацию?

123 4
[Удален]
3946

Если я правильно понимаю, для Яндекса достаточно добавить в файл robots.txt движка Wordpress директиву Disallow: /*page*

Дубли в выдачу попадать не будут.

А вот с Гуглом немного посложнее. Он заявляет, что файл robots.txt носит исключительно рекомендательный характер.

Чтобы угодить двум поисковым системам, вот что я сделал:

1). Убрал из файла robots.txt директиву Disallow: /*page*

2). На всех страницах постраничной навигации, между тегами "head", прописал мета-тег:

<meta name="robots" content="noindex,nofollow"/>

Все ли я сделал правильно?

Спасибо!

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

В гугле можно указать что некоторые параметры URL отвечают за навигацию

https://support.google.com/webmasters/answer/6080548?rd=1

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
GoRSS
На сайте с 29.07.2013
Offline
138
#2
https://commersoft.ru - софт: Google Indexing [индексация в Гугле по API] - Webcontrol [мониторинг сайтов и доменов]
[Удален]
#3

Я полагаю, что все сделал правильно.

Всем благодарен за помощь.

G
На сайте с 03.03.2012
Offline
52
#4

У нас установлена каноническая ссылка, постраничная навигация не индексируется.

[Удален]
#5
Grayzer:
У нас установлена каноническая ссылка, постраничная навигация не индексируется.

Каноническая ссылка на сам раздел или главную?

Поясните, пожалуйста.

Антоний Казанский
На сайте с 12.04.2007
Offline
743
#6

Все носятся с этими ноканоникалами для страниц пагинации, но почему-то никто не думает о том, что страницы пагинации можно превратить в полноценные для индексации страницы.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
H
На сайте с 15.02.2010
Offline
105
#7
Дмитрий2017:
<meta name="robots" content="noindex,nofollow"/>

Все ли я сделал правильно?

А разве nofollow не означает "робот, не ходи по этим ссылкам"? Я бы не стал рисковать, выплюнет из индекса еще...

[Удален]
#8

Смотрите, что я сделал. По крайней мере, так у многих, включая Блоггера Ктонановенького. Наверняка Вы слыхали о нем.

1). На страницах постраничной навигации вида:

https://site.ru/razdel/page5

<meta name="robots" content="noindex,follow"/>

Если я не ошибаюсь, это правило гласит: не индексировать страницу, но переходить по внутренним ссылкам, содержащимся на ней.

Nofollow мне показалось неверным решением. Еще раз повторюсь, что так на многих сайтах, которые я посетил.

Затем я вывел каноническую ссылку, но только не на "саму себя", а на страницу раздела (каталога), которая не запрещена к индексированию и доступна по коду 200.

<link rel="canonical" href="https://siteru/razdel"/>

Линки prev и next не выводил.

2). В файле robots.txt убрал директиву: Disallow: /*page*

Чтобы Googlebot смог зайти на страницу, сканируя перечисленные выше правила.

Таким образом, robots в секции head запретит Яндексу и Гуглу индексировать страницы навигации, но несмотря на это, обойдет внутренние ссылки, содержащиеся на ней.

Rel canonical (если я правильно понял) нестрогая директива, но она вроде как нужна для подстраховки чтобы роботы поняли, что страницы 2,3,4,100- это всего лишь часть (продолжение) одного и того же каталога.

Еще раз повторюсь, что такую конструкцию я узрел на многих посещаемых блогах.

Что Вы скажете по этому поводу? В чем может скрываться ошибка?

Спасибо!

---------- Добавлено 29.08.2017 в 00:52 ----------

hubbiton:
А разве nofollow не означает "робот, не ходи по этим ссылкам"? Я бы не стал рисковать, выплюнет из индекса еще...

Читайте мое сообщение выше. Вы абсолютно правы!

[Удален]
#9

hubbiton,

Не могли бы Вы уделить мне пару минут, прочитав самое последнее сообщение?

Все ли я правильно сделал?

А то, боюсь, что кроме Вас мне никто не ответит.

Жаль, что наш форум постепенно превращается во флуд и курилку.

Все остальное, милости просим, но только за деньги.

H
На сайте с 15.02.2010
Offline
105
#10
Дмитрий2017:
А то, боюсь, что кроме Вас мне никто не ответит

Спасибо за доверие, но я, боюсь, не настолько спец, чтобы рекомендовать что-либо в этой области.

Дмитрий2017:
Rel canonical (если я правильно понял) нестрогая директива, но она вроде как нужна для подстраховки чтобы роботы поняли, что страницы 2,3,4,100- это всего лишь часть (продолжение) одного и того же каталога.

Я считаю эту директиву нужной и применимой лишь для указания основного url страницы, если она доступна по нескольким.

А вообще, как мне кажется, Вы слишком заморачиваетесь с этим. Не настолько это важно, чтобы так мудрить, а риск всё испортить значительно выше, чем возможные плюсы, если все получится по намеченному плану. Забить, в общем... ))

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий