Каким способом лучше всего закрыть постраничную навигацию: Disallow: /page* или мета-тегом noindex, nofollow?

123
Romanov Roman
На сайте с 21.06.2018
Offline
215
#11
John Silver #:
Лучше сделать так и ничего не выдумывать <meta name="robots" content="noindex, follow">

Так я и не выдумываю.
Успешные конкуренты закрывают пагинацию в robots.txt. 

Если говорить предельно открыто, то в течение примерно 5 лет я тоже придерживался этого правила.
Проблем с индексацией не было.

Затем 4 года закрывал страницы мета-тегом <meta name="robots" content="noindex, follow">.
На такие страницы робот Гугла почти не заходил.

Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
Антоний Казанский
На сайте с 12.04.2007
Offline
744
#12
Romanov Roman #:
Проблем с индексацией не было.

Я тоже не вижу явных причин для ухудшения ранжирования, если робот будет иметь для переобхода дополнительный круг  из числа бесполезных для индекса страниц перечня.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Romanov Roman
На сайте с 21.06.2018
Offline
215
#13
Антоний Казанский #:

Я тоже не вижу явных причин для ухудшения ранжирования, если робот будет иметь для переобхода дополнительный круг  из числа бесполезных для индекса страниц перечня.

Проблем с индексацией не было, когда страницы листинга были закрыты в файле robots.txt.

Буду наблюдать, анализировать, делать выводы.


Romanov Roman
На сайте с 21.06.2018
Offline
215
#14
Andrew666 #:
Закрытые в роботс индексирует гугл хорошо, особенно когда есть внутренние ссылки.

Одна страница пагинации уже попала в поиск Гугла, несмотря на блокировку в файле robots.txt.
В Сёрч Консоли появилось предупреждение.

Я удивляюсь только одному.
Страница закрыта от сканирования, но Гугл всё равно её индексирует, то есть добавляет в выдачу документ с заблокированным содержимым.

Посмотрю, окажутся ли сайты "в соплях".

Повторюсь, что в течение 5 лет никаких проблем с индексированием и сканированием не было. В файле robots.txt листинг был закрыт правилом Disallow: /*page*

Буду смотреть, сколько заблокированных страниц пагинации добавит в индекс полоумный Гугл. 
Техподдержка Яндекса напротив рекомендует использовать robots.txt, а не мета-тег noindex,follow для закрытия от индексации маловостребованных (малоценных) страниц листинга.

Romanov Roman
На сайте с 21.06.2018
Offline
215
#15

Гугл потихоньку добавляет страницы пагинации в индекс, с пометкой "Страница недоступна по причине блокировки в файле robots.txt".
Решил закрыть страницы листинга мета-тегом robots noindex,nofollow.
Из файла robots.txt запреты удалил.

Буду наблюдать, не выпадут ли из органики важные страницы и насколько пострадает переобход важных страниц.

Romanov Roman
На сайте с 21.06.2018
Offline
215
#16
Romanov Roman :
Я посмотрел с десяток конкурентов в нише. Странно. Почему листинг закрывают в роботсе? Разве для Гугла это не ошибка?

Отвечаю сам себе: для Гугла это является ошибкой.

Romanov Roman
На сайте с 21.06.2018
Offline
215
#17

Позвольте небольшое уточнение!

Конструкция вида:  <meta  name= "robots"   content= "noindex"   /> 

Строго запретит роботам Яндекса и Гугла индексировать страницу, при этом роботы будут переходить и индексировать ссылки, расположенные на этой странице?

Так ли это?

X
На сайте с 04.12.2018
Offline
285
#18
Romanov Roman #:
Так я и не выдумываю.
Успешные конкуренты закрывают пагинацию в robots.txt. 

Можно 1 пример такого успешного конкурента?

Я по своим прошелся, наоборот все раскрыли.

Удобный съем позиций (http://allpositions.ru/redirect/58277)
Romanov Roman
На сайте с 21.06.2018
Offline
215
#19
Xubart #:

Можно 1 пример такого успешного конкурента?

Я по своим прошелся, наоборот все раскрыли.

А как быть с дублями?
Часть текста (анонс) будет индексироваться и на пагинации, и в самой статье...

Romanov Roman
На сайте с 21.06.2018
Offline
215
#20
Xubart #:
Можно 1 пример такого успешного конкурента?

https://psy-magic.org/

https://tayniymir.com

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий