В ТОПе страницы, запрещенная в robots.txt фиг сотрешь((

12 3
SEOraptor
На сайте с 07.11.2011
Offline
65
2835

Приветствую категорически!

Ничего не продвигали под Гугл, про его задвиги мало чего знаю.

Кто объяснит такой фокус с подвыподвертом?:

Был сайт инет магазина с хорошими позициями в выдачах Яндекса и Гугла. Компания решила поменять дизайн и немного структуру с максимальным сохранением ссылочной массы через редиректы и пр. как обычно.

На ключевых страницах старого сайта был проставлен 301 редирект на аналогичные на новом сайте , сами старые страницы были запрещены для индексации в robots.txt

После выкладывания нового сайта прошел месяц. Робот Гугла проиндексировал новый сайт, прочитал новый robots.txt и !!!! решил оставить в ТОПе закрытые страницы старого сайта с соответствующим снипетом:

Это 2 место по среднечастотному ВК запросу. Покупных ссылок на эту страницу не было!!

Такая же фигня по остальным аналогичным страницами с выдаче. Все в ТОПе с такой фигней.

Яндекс давно поменял в выдаче все старые страницы на новые.

В чем прикол???? Что с этим делать? Сниппет абсолютно некликабельный и толку от такого ТОПа никакого.

[Удален]
#1

Зайди в вебмастер и удали эти страницы .

A
На сайте с 18.10.2013
Offline
23
#2

Сударь 21 век на дворе. Роботс и тег ноиндекс не панацея, всеравно сволочь съедает страницу, так же для сбора данных используют не только переходы по ссылкам. Поэтому как замечено вышел удалите в вебмастерсе страницу

W
На сайте с 13.12.2007
Offline
89
#3
SEOraptor:
На ключевых страницах старого сайта был проставлен 301 редирект на аналогичные на новом сайте , сами старые страницы были запрещены для индексации в robots.txt
После выкладывания нового сайта прошел месяц. Робот Гугла проиндексировал новый сайт, прочитал новый robots.txt и !!!! решил оставить в ТОПе закрытые страницы старого сайта с соответствующим снипетом:

В чем прикол???? Что с этим делать? Сниппет абсолютно некликабельный и толку от такого ТОПа никакого.

Ничего странного в этом не вижу - вы закрыли от индексации страницы с которых поставили 301 редирект на новые страницы.

Вопрос: Как поисковый робот должен прочитать, что там 301 редирект, если вы ему не даете это сделать?

Может, все-таки, открыть старые страницы для индексации? А дальше, для быстрой переиндексации, воспользуйтесь "Посмотреть, как GoogleBot" или же пингаторы, твитер,...

I
На сайте с 20.10.2012
Offline
144
#4

На всех страницах которые нужно удалить, нужно в коде прописать метатег noindex (средствами CMS).

<meta name="robots" content="noindex" />

Предварительно разрешив их индексацию в robots.txt

Так спасем мир.

SEOraptor
На сайте с 07.11.2011
Offline
65
#5

Читал, много думал..

iman:
На всех страницах которые нужно удалить, нужно в коде прописать метатег noindex (средствами CMS).
Antikiok:
Сударь 21 век на дворе. Роботс и тег ноиндекс не панацея, всеравно сволочь съедает страницу,

Все бы ничего, я только понять не могу - зачем Гуглу в ТОПе месяц как закрытые страницы?

На одной из таких, кста, забыли прописать 301 редирект и она вообще ведет на 404 ошибку. А он её все равно не выкидывает...

Тугой Яндекс разобрался со всем этим добром в первом же апдейте.

Про то, что для гугла такие страницы лучше удалить понятно, только они до 90 дней могут удаляться(( и лучше одновременно удалять их физически и на сайта, а не факт, что это хорошо для Яндекса и 301 редиректа.

Посещаемость сайта 10K уников в день, мало ли.

[Удален]
#6
SEOraptor:
Тугой Яндекс разобрался со всем этим добром в первом же апдейте.

Вы очень мал,

И очень глуп,

И не видал больших за... Затруднений в жизни.

Яндекс очень любит это дело в выдаче. Вот тот же бурундук затрахался кидать примеры.

E
На сайте с 21.09.2009
Offline
283
#7

SEOraptor, как бот узнает о редиректе, если Вы страницы в роботс закрыли?

[Удален]
#8
easywind:
как бот узнает о редиректе, если Вы страницы в роботс закрыли?

А бот по страницам, закрытым в роботсе, не ходит, так?)

F2
На сайте с 08.08.2013
Offline
111
#9
webdoctor:

Вопрос: Как поисковый робот должен прочитать, что там 301 редирект, если вы ему не даете это сделать?

В соседней теме человек жалуется что робот ходит по страницам закрытым в роботс и ему объясняют что роботс не закрывает от роботов. Один из вас не прав.

⭐ ⭐ ⭐
E
На сайте с 21.09.2009
Offline
283
#10
Miha Kuzmin (KMY):
А бот по страницам, закрытым в роботсе, не ходит, так?)

Калитка на замке, пройти рядом нельзя? :) нашел новую ссылку, пошел посмотреть. Или посмотрел, что от него прячут(клоакинг к примеру).

Сегодня закрыто. Завтра открыто. Как узнать?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий