Нужно ли запрещать индексировать feed ленту?

A
На сайте с 01.05.2018
Offline
11
959

В роботсе стоит

Disallow: */feed

Disallow: */rss

В вебмастере гугла увидел, что эти страницы все же попадают в индекс, мол правила роботса мне в принципе по-барабану.

Но вот стоит ли их вообще запрещать индексировать? Или ставить <meta name="robots" content="noindex">?

Vladimir
На сайте с 07.06.2004
Offline
329
#1
Arsaman:
В роботсе стоит

Disallow: */feed
Disallow: */rss

В вебмастере гугла увидел, что эти страницы все же попадают в индекс, мол правила роботса мне в принципе по-барабану.
Но вот стоит ли их вообще запрещать индексировать? Или ставить <meta name="robots" content="noindex">?

RSS - для того, чтобы использовать, а не запрещать

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
skapunker
На сайте с 15.01.2014
Offline
150
#2

без разницы, ее все равно показывать в поиске не будет.

Однако такая запись

Disallow: */feed

Disallow: */rss

может запретить некоторым роботам шариться по ленте. Например вы к новостному агрегатору подключитесь, он зайдет и вдруг будет учитывать роботс. Хз всякое может быть.

А если лента никем не используется то ее лучше отключить.

Скидка 5% на все услуги reg.ru по промокоду B5A1-2430-5C32-1D70
E
На сайте с 29.02.2012
Offline
126
#3

В Robots.txt нужно закрывать от индексации те разделы и те файлы, которые не нужны пользователям и не несут никакой ценности для поисковиков. Думаю не стоит закрывать rss. Правда поисковые роботы индексируют ленту быстрее, чем саму веб-страницу, из-за чего первоисточник может попасть под фильтры поисковых систем.

Кластеризатор ключевых слов (https://seoquick.com.ua/keyword-grouping/) - Группировка 20,000 слов за 1 минуту. Калькулятор качества Title (https://seoquick.com.ua/calculator-title/) - Калькулятор качества заголовков Генератор объявлений Google Ads (https://seoquick.com.ua/adwords-generator/) - Генерируй сотни объявлений
Lazy Badger
На сайте с 14.06.2017
Offline
191
#4
ezon:
файлы, которые не нужны пользователям и не несут никакой ценности для поисковиков

И именно фиды в "не нужны пользователям" как раз и попадают: их уже не читают (массово), т.к. банально "нечем читать"

Закрывать, а лучше уже и вообще "не генерить"

Производство жести методом непрерывного отжига
E
На сайте с 29.02.2012
Offline
126
#5

Наверное, все таки лучше закрыть.

fliger
На сайте с 17.09.2015
Offline
69
#6

Зачем тогда создавать RSS-ленту, если закрывать ее от индексации? В чем смысл?

Vladimir
На сайте с 07.06.2004
Offline
329
#7
fliger:
Зачем тогда создавать RSS-ленту, если закрывать ее от индексации? В чем смысл?

Смысл в том, что ни один из отписавшихся, не понимает смысла RSS

Lazy Badger
На сайте с 14.06.2017
Offline
191
#8
Nadejda:
Смысл в том, что ни один из отписавшихся, не понимает смысла RSS

"Чрезмерная генерализация вредна". Я знаю, к примеру, как и то, что это - отмирающая технология для массмаркета

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий