Удалить страницы из гугла

S
На сайте с 20.08.2013
Offline
29
664

Накосячил с сайтом - изначально со всех несуществующих страниц сделал переход на главную, т.е. поисковикам отдавался код 200 вместо 404. Поисковикам были скормлены сгенерированные сайтмапы, типа:

...id=1

...id=2

...

...id=999999

...id=1000000

Сначала все шло хорошо по основному запросу выдавал site.ru, а сейчас, на первых местах поиска гугла выводится ссылка на несуществующую страницу site.ru/id=xxx, с переходом на главную. Ошибку на сайте исправил, теперь возвращает правильный код 404 удаленных страниц. Страниц на сайте около 1 млн.

Теперь встала задача скормить несуществующие страницы поисковику чтобы он их выкинул из поиска, с кодом 404. Все несуществующие страницы вычленил (порядка 20000 штук) и думаю их записать в отдельный sitemap и скормить поисковику и чтоб быстрее, добавить changefreq daily,

<url>

<loc>...id=xxx</loc>

<changefreq>daily</changefreq>

</url>

а старые файлы сайтмап удалить из вебмастера. Через недельку удалить этот сайтмап.

Ждать пока поисковики сами найдут эти страницы очень долго.

Как отнесутся к моей затее поисковики? И есть ли другие варианты?

SM
На сайте с 07.06.2012
Offline
30
#1

Гугл игнорирует частоту индексации, указываемую в мета.

Если картой сайта скормить, но тогда всплывает масса 404 в вмт. Они вроде как не влияют на ранжирование, но, могут быть врианты.

Можно просто удалить их в вмт, если их число конечное и вменяемое. То, что и рекомендуют в гугле - отдавать 404 и удалить из индекса. Долго и нудно, но а что делать?

А как отнесутся. ХЗ, если 404 вдруг стало оч много, могут обидеться.

jekky16
На сайте с 10.05.2008
Offline
97
#2

Если несуществующие страницы имеют общее свойство, отличающее их от существующих, то можно и нужно создать правило для запрета их индексации в robots.txt (например, страницы поиска, сортировки, страницы определенного раздела сайта, или содержащие определенный шаблон в url)

http://robotstxt.org.ru/

http://help.yandex.ru/webmaster/?id=996567

S
На сайте с 20.08.2013
Offline
29
#3

Нет, эти страницы вообще удалены с сайта, но перед этим проиндексированы как зеркало главной страницы. Смысла в роботс закрывать их не вижу, т.к. поисковик должен их распознать как удаленные и несуществующие с кодом 404. Вопрос в том как помочь ему в этом. Он 5 месяцев индексировал весь сайт, и придется ждать еще столько же, если не дольше пока он зайдет еще раз на эти страницы. А тем временем пока позиции падают, из за дублей главной.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий