Яндекс исключил порядка 600 страниц

GT
На сайте с 04.12.2011
Offline
3
g-t
564

Есть ресурс, основан на движке WordPress.

Недавно в файл robot.txt добавили следующую информацию, которую, как советуют, необходимо добавлять что бы поисковые роботы данные вещи не сканировали.

Вот что написано в моем файле robot.txt:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments
Host: www.gos-tuning.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments
Sitemap: http://www.gos-tuning.ru/sitemap.xml

Яндекс добавил к исключенным страницам порядка 600 страниц такого типа:

/audi/a4/tuning-obves-rieger-audi-a4-r02-0007/feed/

Захожу в админку проверяю конкретную ссылку, ничего подобного нет. Ссылка в порядке и на конце FEED никакого нету.

Пожалуйста подскажите что это такое или это какая то особенность WordPress и как это решать.

Р
На сайте с 19.10.2009
Offline
42
#1

Disallow: /wp-feed

Видимо в этом дело. Feed это лента новостей для rss если мне память не изменяет, они и ушли.

Лучший хостинг (http://phpanel.ru/10716) | Есть система лучше чем Сеопульт (http://client.webeffector.ru/registration.html?invitation=0e087ec55dcbe7b2d7992d6b69b519fb) |
GT
На сайте с 04.12.2011
Offline
3
g-t
#2

вот только что нашел.

в запрещенных страницах:

/bmw/x1/feed

в индексированных страницах:

www.gos-tuning.ru/bmw/x1

Получается сама страница в индексе, а RSS лента в запрете.

Т.Е. я так понимаю все это правильно.

callidus
На сайте с 18.07.2011
Offline
335
#3

Абсолютно верно, это делает для того, чтобы избежать появления дублей страниц.

Надоело самостоятельно собирать семантическое ядро ( http://goo.gl/rekQL9 )? Отдай на аутсорс.
iworkshop
На сайте с 22.12.2008
Offline
195
#4

Все правильно запретило.

Я вообще фид обрезаю до минимума на вп сайтах.

Зачем вам дубли в индексе?

XMLRiver - прямая выдача Google и Яндекс через API
donc
На сайте с 16.01.2007
Offline
665
#5

интересно, все те, кто запрещают rss feed к индексации, зачем это делают? Вы много в серпе выдали фидов? Я ни одного, и думаю и не увижу никогда :)

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
iworkshop
На сайте с 22.12.2008
Offline
195
#6

donc, я запрещаю рсс фид к индексации.

И не важно много я их видел или мало. Дубли контента - не гуд.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий