Запрещены в robots, указаны в sitemap

G
На сайте с 08.06.2017
Offline
2
317

Один из разделов (таксономию) сайта временно закрываю в robots.txt от индексирования.

Однако эти страницы есть в sitemap.xml. Из него их можно удалить только удалив все страницы раздела, т.к. карта сайта формируется модулем.

В будущем планируется приведенные в порядок страницы таксономии устанавливать в allow. Неготовые будут оставаться disallow.

Как лучше поступить:

1) Не трогать sitemap. Если исходить из следующего рассуждения: наличие запрещенных к индексированию страниц в карте не вредно. ПС негативно реагировать не будут, при этом инструкции robots важнее sitemap и будут соблюдены.

2) Убрать раздел из sitemap. Если исходить из того, что такие "взаимоисключающие параграфы" вредны, а разрешенные в robots страницы будут проиндексированы, даже если их нет в сайтмэп, но есть на них ссылки на сайте.

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#1

Можно не трогать sitemap, страницы все-равно будут обходится роботом, но он не будет учитывать их в ранжировании.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий