Закрывать ли от индексации RSS?

12
donc
На сайте с 16.01.2007
Offline
686
#11

как и сайтемеп))

Это вспомогательные инструменты, например, для быстрой индексации, ну или чтобы пионерам удобнее было у вас контент с сайта воровать.

Продвижение сайтов от 25 000 в мес, прозрачно, надежно https://searchengines.guru/ru/forum/818412 , но не быстро, отзывы
PhantomSEO
На сайте с 09.09.2006
Offline
110
#12
foran:
кстати, проверил специально, рсс-ленты вообще не индексируются

Добавьте в аддурилку вот эту ленту и посмотрите результат. ;)

Cuck
На сайте с 02.06.2011
Offline
110
#13

donc, не сильно парюсь по этому поводу, договариваюсь за проставление обратных и все.

богоносец
На сайте с 30.01.2007
Offline
774
#14
foran:
ни одна лента не в индексе ни у яши, ни у гоши

http://yandex.ru/yandsearch?text=inurl:ya.ru/rss/posts

Штуки 3 есть...

У кого есть примеры в индексе Яндекса XML-документов (к коим относится и RSS, но не всегда), покажите примеры, можно в ЛС.

Именно XML с Content-Type: text/xml (а не файлы.xml с Content-Type: text/html).

NL
На сайте с 29.01.2003
Offline
212
#15

Мне на одном форуме пришлось закрыть все RSS-ленты, т.к. Яндекс их выгребал со страшной силой. Еще мне было непонятно, почему RSS`ки забирал Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots), а не Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots), как можно было надеяться.

CZ
На сайте с 13.10.2010
Offline
57
#16

Зачем закрывать? RSS помогают индексированию. Вряд ли поисковики посчитают их дублированием

Идеальные и недорогие сервера под любые задачи, всего от 3$ (https://goo.gl/kwvak5), много положительных отзывов :)
богоносец
На сайте с 30.01.2007
Offline
774
#17

Несколько месяцев назад в ЯВМ заметил бэк с RSS, удивился, стал искать ленты... у этого форума тогда они все или многие были в индексе. Уж попытался засунуть в индекс RSS-образный XML, но не успел, почти всё, что раньше находилось — исчезло. Но кое-что осталось.

Как именно ПС будут к ним относиться — не нормировано. Поэтому лучше это указать явно. Боты есть боты, им умными быть не полагается.

А рассматривать надо индексацию не только RSS, а ещё и XML (про что ТП почти прямо врёт или косит под молодость платонов). А ПС смотрят проще... не так, как люди. И RSS бывают не XMLем...

И напоминание для параноиков:

Disallow: /sitemap # у себя любимого Гугль проиндексил не тот сайтмап, который указан в роботсе... наверное по ссылке.

Disallow: /robots

но это не поможет, боты иногда не смотрят в robots.txt и пр 301

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий