Гугл отправляет страницы закрытые в robots в сопли.

L8
На сайте с 01.06.2015
Offline
6
745

Всем привет! Нужна помощь. Скажите как закрыть ненужные страницы от индексации в гугл?

Прописал запрет на индексацию в robots.txt, но гугл всё равно их проиндексировал, в выдаче вместо description появилась надпись, что страница закрыта в robots.txt.

Стоит ли закрывать страницы в robots.txt с которых стоит 301 редирект?

Проблема в том, что соотношение страниц в основной выдаче и в соплях постоянно увеличивается.

Пациент http://rearchildren.ru

E
На сайте с 21.09.2009
Offline
283
#1
Lex84:
Стоит ли закрывать страницы в robots.txt с которых стоит 301 редирект?

нет. Бот, тогда ничего про редирект не узнает https://support.google.com/webmasters/answer/93710?hl=ru

A
На сайте с 15.04.2010
Offline
57
#2

Про сопли гугла сказано в сети много. Например можете тут почитать http://blog.badata.net/ru/135-sopli-ili-dopolnitelnyj-indeks-google.html

А то, что гугл пишет, что страница закрыта в robots.txt это нормально. Можно еще закрыть метатегом noindex в коде страницы

Как Сделать Идеальный Ссылочный Профиль Сайта https://www.youtube.com/watch?v=_ye3dKYw6hc (https://www.youtube.com/watch?v=_ye3dKYw6hc) http://sabibon.info/ (http://sabibon.info/) - самое интересное в сети
L8
На сайте с 01.06.2015
Offline
6
#3

Меня смущает то, что страниц в соплях становится больше чуть не с каждым днём! Изначально было 100% в основной выдаче. Потом 85, 80, 75. Сегодня посмотрел 64. Убрал запрет из роботс, на некоторые страницы(пагинации). Голову сломал уже. Да, сопли смотрю через RDS бар.

K1
На сайте с 23.05.2012
Offline
66
#4
asim:
Можно еще закрыть метатегом noindex в коде страницы

Этот тег закрывает содержимое страницы, а не саму страницу. А и гугл его успешно игнорирует, так что не поможет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий