Каким способом лучше всего закрыть постраничную навигацию: Disallow: /page* или мета-тегом noindex, nofollow?

12 3
Romanov Roman
На сайте с 21.06.2018
Offline
199
1373

Я понимаю, что в данном вопросе существуют разногласия.

Но если я принял окончательное решение закрыть постраничную навигацию от индексации и перехода по ссылкам - в целях экономии бюджета на сканирование, то каким способом лучше закрыть такие страницы от индексации?

Если я правильно понимаю, мета-тег noindex, nofollow строго запретит роботам Гугла и Яндекса индексировать страницы пагинации и переходить по ссылкам с них. Сканирование я не запрещаю?

И если я закрою доступ к листингу в файле robots.txt правилом Disallow: /page*, то робот не сможет просканировать страницу. Однако, в индекс она попадёт в том случае, если на неё будет обнаружена внешняя ссылка?

Я посмотрел с десяток конкурентов в нише. Странно. Почему листинг закрывают в роботсе? Разве для Гугла это не ошибка?



Постраничную навигацию следует закрывать:

1. С помощью мета-тега noindex nofollow.
43% (6)
Правилом Disallow: /page* в файле robots.txt.
57% (8)
Всего проголосовало: 14
Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
Антоний Казанский
На сайте с 12.04.2007
Offline
659
#1
Romanov Roman :
Почему листинг закрывают в роботсе?

Потому что нет никакой необходимости держать листинги ни в поиске, ни в качестве url для переобхода.


Romanov Roman :
Разве для Гугла это не ошибка?

Не является. Это ваше право ограничивать служебные страницы для внимания поисковых роботов.

При правильно реализованной навигации и корректно реализуемой XML карты сайта все эти страницы не нужны, они лишь занимают поисковую квоту, - тогда как её лучше использовать для индексации/переиндексации целевых страниц. 

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Научим создавать: боты, парсеры, работать с профилями для ПФ, присоединяйтесь -> https://goo.su/LrCGj
Romanov Roman
На сайте с 21.06.2018
Offline
199
#2
Антоний Казанский #:

Потому что нет никакой необходимости держать листинги ни в поиске, ни в качестве url для переобхода.


Не является. Это ваше право ограничивать служебные страницы для внимания поисковых роботов.

При правильно реализованной навигации и корректно реализуемой XML карты сайта все эти страницы не нужны, они лишь занимают поисковую квоту, - тогда как её лучше использовать для индексации/переиндексации целевых страниц. 

Спасибо за ответ, Антоний Олегович!
Если я Вас правильно понимаю, лучшим решением будет заблокировать страницы пагинации не мета-тегом robots noindex nofollow, а правилом Disallow: /page* в файле robots.txt?

Скажите, пожалуйста, насколько необходимо в данном случае использование карты sitemap html?
5200 ссылок на одной странице не совсем уместно?

Антоний Казанский
На сайте с 12.04.2007
Offline
659
#3
Romanov Roman #:
Спасибо за ответ, Антоний Олегович!

Пожалуйста.


Romanov Roman #:
Если я Вас правильно понимаю, лучшим решением будет заблокировать страницы пагинации не мета-тегом robots noindex nofollow, а правилом Disallow: /page* в файле robots.txt?

Какую конкретно надо использовать инструкцию в robots.txt я вам однозначно сказать не могу - это зависит от структуры и функциональности сайта. Некоторые CMS по адресам типа /page могут выводить статические страницы (как правило страницы вне структурной иерархии), поэтому для начала нужно видеть сайт и понимать принципы его URL адресации (здесь может быть масса вариантов).

Смотрите какие URL адреса формируют листинги, здесь надо принимать решение с опорой на конкретный сайт. Я вашего сайта не вижу, поэтому не могу сказать однозначно, что вышеприведённый пример будет правильным.


Romanov Roman #:
Скажите, пожалуйста, насколько необходимо в данном случае использование карты sitemap html?
5200 ссылок на одной странице не совсем уместно?

Html карту также нет большой необходимости использовать. Это анахронизм.

Важно правильно использовать все функциональные возможности XML карты (не надо путать с html картой), вот там должны быть не только все корректные адреса, но и даты модификации страниц в теге <lastmod>.

Если у вас крупный новостной/тематический проект с обилием входящих комментариев на материалы страниц, то рекомендуется настроить поддержку заголовком last-modified и  last-modified  since. 

p.s. Также важно будет проверить, что даже изменение  заголовка страницы или meta тега должна отражаться на дате модификации страницы (зачастую этот момент упускают). 

Romanov Roman
На сайте с 21.06.2018
Offline
199
#4
Антоний Казанский #:

Потому что нет никакой необходимости держать листинги ни в поиске, ни в качестве url для переобхода.

Позвольте задать Вам ещё один принципиально важный вопрос.
Заранее благодарен Вам за ответ.

Допустим, что для информационника-многостраничника я использую корректную карту сайта в формате XML.
Она, как и у всех без исключения конкурентов, формирует папки с количеством прямых ссылок на посты.
В году 12 месяцев. Значит ровно столько же и папок.

Робот Яндекса и Гугла регулярно обходит карту сайта. Последняя дата обхода конкретной папки отображается в панели Вебмастера.

Вопрос заключается в следующем. 

Если сайты имеют не слишком оптимальную структуру, а статьи между собой перелинкованы далеко не все, то каким образом робот доберётся до всех постов?
Постраничная навигация закрыта a файле robots.txt!

Яндекс утверждает, что ему достаточно только карты сайта XML для того, чтобы просканировать все статьи и, если документ достоин выдачи, его благополучно добавить в индекс.

Достаточно ли поисковым системам только одной карты сайта XML, чтобы обнаружить все адреса страниц, предлагаемых Вебмастером для индексации?
Может ли робот совершать переобход страниц, переходя исключительно по прямым ссылкам с карты сайта, планируя тем самым краулинговый бюджет?

Антоний Казанский
На сайте с 12.04.2007
Offline
659
#5
Romanov Roman #:
Если сайты имеют не слишком оптимальную структуру, а статьи между собой перелинкованы далеко не все, то каким образом робот доберётся до всех постов?

1. Оптимальную структуру нужно стараться реализовывать - это первостепенная задача.

2. Все целевые материалы должны фиксироваться в XML карте сайта, через неё поисковик и получает приоритетные сигналы для переобхода (разумеется, когда XML карта есть).


Romanov Roman #:
Яндекс утверждает, что ему достаточно только карты сайта XML для того, чтобы просканировать все статьи и, если документ достоин выдачи, его благополучно добавить в индекс.

Да, всё верно.


Romanov Roman #:
Достаточно ли поисковым системам только одной карты сайта XML, чтобы обнаружить все адреса страниц, предлагаемых Вебмастером для индексации?

Достаточно.


Romanov Roman #:
Может ли робот совершать переобход страниц, переходя исключительно по прямым ссылкам с карты сайта, планируя тем самым краулинговый бюджет?

Может. Контекстные и прочие ссылки внутри документа - это сигналы второй очереди по которым поисковая система формирует очередность для переобхода.

JS
На сайте с 19.11.2020
Offline
97
#6
Romanov Roman #:
Если сайты имеют не слишком оптимальную структуру, а статьи между собой перелинкованы далеко не все, то каким образом робот доберётся до всех постов?

Лучше сделать так и ничего не выдумывать <meta name="robots" content="noindex, follow">

Romanov Roman
На сайте с 21.06.2018
Offline
199
#7

Искренняя благодарность Вам за ответ!                  

Romanov Roman
На сайте с 21.06.2018
Offline
199
#8
John Silver #:
Лучше сделать так и ничего не выдумывать <meta name="robots" content="noindex, follow">

Я хочу, чтобы роботы не только не индексировали, но и не сканировали постраничную навигацию.

Noindex follow больше не поддерживается. Можно прописать robots noindex.
Но исходя из собственной практики, страницы с разрешённым переходом по внутренним ссылкам, но запрещённые к индексированию, роботами посещаются крайне редко.

Повторюсь, что это мой собственный опыт.

На мой взгляд, тут или открывать листинг (дубли, низкокачественные не целевые страницы) или блокировать его к такой-то бабушке, отслеживая сканирование и индексирование важных страниц.

JS
На сайте с 19.11.2020
Offline
97
#9
Romanov Roman #:

Я хочу, чтобы роботы не только не индексировали, но и не сканировали постраничную навигацию.

Главное чтобы это не повлияло на ранжирование в худшую сторону. Есть большая вероятность что повлияет.

A6
На сайте с 02.09.2019
Offline
73
#10
Закрытые в роботс индексирует гугл хорошо, особенно когда есть внутренние ссылки. Мета ноуиндекс фоллоу советую
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий