Форум Практика оптимизации Любые вопросы от новичков по оптимизации

page.html/feed в соплях гугла - как убрать?

vigilant
На сайте с 14.10.2010
Offline
82
vigilant
1325

всем привет

печатал-печатал в июньской теме про /feed, а форум мне говорит, что она слишком старая, будь он проклят.. приходится заново печатать(

итак, сайт на ВП

в индексе гугла, точнее в соплях, для каждой страницы/записи имеется страница вида http://site.ru/page.html/feed

в роботсе /feed запрещен, собственно, в сниппете этих страниц гугл так и говорит, описания нету, т.к. запрещено в роботсе

на каждой странице в секции head были ссылки на эти /feed, их я выпилил

страницы сами по себе смысла не имеют, там все равно "Нет статей" и никакой полезной инфы, общий фид работает нормально

вопрос в том, как мне выпилить теперь все эти страницы /feed из соплей?

были бы это простые страницы, я бы открыл к ним доступ в роботсе и прописал в заголовке мета-тег ноиндекс, они бы сами постепенно ушли

но это сраный фид, с которым этот номер не прокатит, наверно (если прокатит - дайте знать, особенно где найти место, в котором формируется заголовок страницы-фида)

в голову приходит такое неэлегантное решение, как .htaccess и отдавать 404 вместо .html/feed, но может можно как-то проще?

вручную удалять через вебмастерс тулс - это утопия

---------- Добавлено 04.11.2012 в 00:57 ----------

есть у той страницы /feed такой странный тег 

<base href="http://site.ru/page.html"/>

как гугл к нему относится?

---------- Добавлено 04.11.2012 в 01:01 ----------

UPD. Про выпиливание из заголовка -

vigilant
На сайте с 14.10.2010
Offline
82
vigilant
#1

Еще такой вопрос на ту же тему, если есть, допустим, страница x.html которая попала в индекс, на которую раньше были ссылки на сайте.

потом все ссылки пропали (страница при этом жива, просто на нее никто не ссылается внутри и снаружи сайта), но страница продолжает висеть в индексе

случится ли когда-нибудь ее выпадение или ей надо помочь?

Ahiga
На сайте с 07.11.2012
Offline
2
Ahiga
#2

Если вы приняли меры и исправили средствами роботс, то нужно просто ждать. Со временем ПС все переколбасит сам.

vigilant
На сайте с 14.10.2010
Offline
82
vigilant
#3
Ahiga:
Если вы приняли меры и исправили средствами роботс, то нужно просто ждать. Со временем ПС все переколбасит сам.

с гуглом все не так очевидно, черт бы его побрал

vigilant
На сайте с 14.10.2010
Offline
82
vigilant
#4

В общем для всех, кому может это тоже интересно: решил попробовать вариант с X-Robots-Tag, вроде как гугл должен его поддерживать

итого

1. Добавил в http заголовк X-Robots;

2. Разрешил в robots.txt доступ к /feed для Google

3. Жду результатов :) Расскажу о них.

Дело в том, что в фид не запихнешь так просто обычный мета-тег, ругается на валидность или еще на что-то, в общем все ломается, если так сделать.

vigilant
На сайте с 14.10.2010
Offline
82
vigilant
#5

Если, вдруг, кому интересно, эта штука работает, левые странички потихоньку выпадают из индекса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий