Что нужно сделать чтобы запретить Гуглу и Яндексу индексировать постраничную навигацию?

На раздел каталога, конечно.

Grayzer,

Искренне благодарен Вам за ответ.

Подскажите, пожалуйста, если Вас не затруднит. Буквально вкратце.

Вот, что размещено на страницах пагинации: <meta name="robots" content="noindex,follow"/>

Каноническая ссылка стоит на первую страницу раздела. Я удалил правило Disallow: /*page* из файла robots.txt

Моя задача: постраничная навигация не должна попадать в выдачу (там частичные дубли- анонсы публикаций).

Все ли я правильно сделал?

Почему нежелателен nofollow в метатеге: <meta name="robots" content="noindex,nofollow"/>

По-человечески просишь у людей: помогите, но дельный ответ дают лишь единицы.

Заранее Вам благодарен.

Robots для всех поисковых систем носит исключительно рекомендательный характер.

А закрывать страницы пагинации для "защиты от дублей" - как минимум, решение спорное, как максимум - параноидальное.

именно, но он работает за очень редкими исключениями

правильное решение, пагинации быть в принципе не должно на сайте - она не нужна!!!

правильное решение запрет в файле robots.txt

всё остальное как раз будет бредом

Я не силюсь спорить с Вами.

У меня было прописано правило: Disallow: /*page* в файле robots.txt.

В Яндексе никогда не появлялась постраничная навигация.

Чего ни скажешь про долбанный (но многими хваленый) Гугл.

Если я правильно понимаю, он настаивает на том, чтобы в файле robots.txt не было запрета на индексирование постраничной навигации. Тогда он сможет посетить страницу и понять стоит ли ее индексировать.

Поэтому и пихает ее в поисковую выдачу.

Что делать, я не знаю.

Убрал правило Disallow: /*page*

Теперь что, получается жди дублей в Яндексе?

Как решить проблему одновременно для двух поисковых систем?

---------- Добавлено 30.08.2017 в 02:08 ----------

https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

Дмитрий2017, только роботс

гугл может добавлять в поиск страницы закрытые в роботсе, отдающие 404 код ответа, если на эти страницы есть ссылки, он сам принимает решение показывать страницу в поиске или нет

домен давно удалён https://www.google.ru/search?newwindow=1&q=убийца+индекса+404

когда он существовал всё было закрыто в роботсе и отдавало 404 код ответа

P.S. о кто-то домен дропнул :)

Не берусь утверждать это, так как все же не специалист, но думаю нужно просто посмотреть, что дальше будет.

У нас были дубли в Яндексе, они то появлялись в индексе, то пропадали.

Мы написали в поддержку и ответ был, что тех специалистам передана проблема и они её уже решают. В итоге через неделю примерно дублей не стало. Изредка попадались дубли страниц мобильной версии, о чем я так же написал в саппорт.

на "нашем форуме" это обсуждалось сотни раз, пользуйтесь поиском, или придумывайте новые, уникальные фобии, старые никому не интересны уже🍿

Смотря, какой сайт... Если на сайте очень длинные статьи? а под статьей блок ссылок в другие разделы сайта, а также блок полезных материалов по ключам, а еще блок с рекламой или комментариями... Так вот без пагинации пользователь этого всего не увидит.

Правильное решение - тег canonical. ПС будут видеть все страницы материала и при этом добавлять вес только первой странице, соответственно в выдаче будет первая и единственная страница статьи.

Искал решение и нашел, но только для движка джумла. Если ТС интересно, может написать в личку,покажу как реализовал на своих сайтах.

с ним проблем намного больше, начиная с того что его ещё правильно прописать надо и заканчивая тем, что пс его не учитывают если канонический url недоступен и/или "существенно отличается" ;)