Все вопросы по robots.txt - 2

TatianaBO, Гугл рекомендует не закрывать, чтобы он мог правильно отрисовать страницу, например, чтобы корректно пройти тот же mobile friendly тест

Есть две версии сайта:

site.ru

m.site.ru

В m.site.ru/robots.txt стоит Host: http://site.ru

Наткнулся на информацию, что нужно ставить Host: http://m.site.ru

Так как всё-таки правильно?

никак)

https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host

Здравствуйте у меня в индексе куча страниц а по факту в три раза меньше из -за рубрик и их архивов. Подскажите пожалуйста какое действие нужно прописать в robots.txt на примере этой страницы https://vashigrezi.ru/category/uxod-za-kozshei/page/19/

Можно вообще всю пагинацию запретить:

User-agent: *

Disallow: /category/*/page/

Но вообще, надо сделать так, чтобы таких пустых страниц не возникало.

Эта страница пагинации с утра была еще. Я просто не знал как сделать чтобы в рубрике выводились сразу все страницы а не одна как было

Админ пожалуйста удалите это сообщение с темой ошибся .

Для России и стран СНГ, где доля Яндекса ощутима, следует прописывать директивы для всех роботов и отдельно для Яндекса и Google.

Чтобы правильно настроить robots.txt воспользуйтесь следующим алгоритмом:

Закройте от индексирования админку сайта

Закройте от индексирования личный кабинет, авторизацию, регистрацию

Закройте от индексирования корзину, формы заказа, данные по доставке и заказам

Закройте от индексирования ajax, json-скрипты

Закройте от индексирования папку cgi

Закройте от индексирования плагины, темы оформления, js, css для всех роботов, кроме Яндекса и Google

Закройте от индексирования функционал поиска

Закройте от индексирования служебные разделы, которые не несут никакой ценности для сайта в поиске (ошибка 404, список авторов)

Закройте от индексирования технические дубли страниц, а также страницы, на которых весь контент в том или ином виде продублирован с других страниц (календари, архивы, RSS)

Закройте от индексирования страницы с параметрами фильтров, сортировки, сравнения

Закройте от индексирования страницы с параметрами UTM-меток и сессий

Проверьте, что проиндексировано Яндексом и Google с помощью параметра «site:» (в поисковой строке наберите «site:site.ru»). Если в поиске присутствуют страницы, которые также нужно закрыть от индексации, добавьте их в robots.txt

Укажите Sitemap и Host

По необходимости пропишите Crawl-Delay и Clean-Param

Проверьте корректность robots.txt через инструменты Google и Яндекса (описано ниже)

Через 2 недели перепроверьте, появились ли в поисковой выдаче новые страницы, которые не должны индексироваться. В случае необходимости повторить выше перечисленные шаги.

Закройте от индексирования этот бред.

Подскажите, html версию карты сайта надо закрывать от индексации? Вот гугл плагин xml sitemap считает что да, надо закрывать. А вот консоль гугла считает что это ошибка)

С xml версией все ок, вопросов нет по ней.