Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Почему Гугл индексирует страницы закрытые в robots?

Sead · 2013-06-08T17:45:42.0000000Z

Комментарии закрыты в robots.txt, но Гугл в соплях проиндексировал (в комментариях есть слово "ответить" на комментарий): Ответить - Как создать свой блог delajblog.ru/kakoj-xosting-vybrat?replytocom=1461 A description for this result is not available because of this site's robots.txt learn more. Ответить - Как создать свой блог delajblog.ru/kak-ubrat-zashifrovannuyu-ssylku-iz-wor... A description for this result is not available because of this site's robots.txt learn more. Ответить - Как создать свой блог delajblog.ru/vorovstvo-kontenta?replytocom=15 A description for this result is not available because of this site's robots.txt learn more. delajblog.ru/page/2/ A description for this result is not available because of this site's robots.txt learn more. Вопрос: как запретить гугл индексировать такие страницы?

Sead

11 июня 2013, 08:43

#21

apple_rom:
Строго по теме - 3 рабочих способа избавления от дублей и почему среди них нет robots.txt

Спасибо за информацию.

Попытки создать свой сайт (http://delajblog.ru/)

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Маркетинг для шоколадной фабрики. На 34% выше средний чек

Почему Гугл индексирует страницы закрытые в robots?