Почему гугл индексирует закрытые страницы?

Insanity
На сайте с 02.10.2012
Offline
14
789

Добрый день.

Заметил, что в выдаче гугла есть много страниц которые закрыты в robots.txt.

Выдача выглядит следующим образом:


сайт.ru/components/com_jcomments/images/smilies/
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/18
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/11
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/15
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

Вопросов по этому поводу два:

1. Как от этого избавится?

2. Влияет ли это на репутацию сайта в гугле?

По первому вопросу мне кое-что известно. Для этого вроде нужно чтобы на страницы был прописан метатег robots noindex, но в коде своих страниц я этого метатега просто не вижу, хотя в админке значение этого метатега выставить можно. Сайт работает на Joomla 3.1.5.

Рерайт, копирайт, наполнение сайтов (http://advego.ru/2CnY8vKabC)
Mish-ka
На сайте с 08.06.2011
Offline
414
#1
Insanity:
1. Как от этого избавится?

Не избавитесь.

Запрет в роботсе вовсе не запрещает роботу ходить по страничкам и папкам.

Он просто исключает их из индекса.

Insanity:
2. Влияет ли это на репутацию сайта в гугле?

Не влияет.

Серч уже не торт => https://se.guru
Sanu0074
На сайте с 31.08.2012
Offline
110
#2
Insanity:
Как от этого избавится?

закрой их в .htaceess

september
На сайте с 11.09.2009
Offline
591
#3

Вы смотрите через site:site.ru и долистываете до последней страницы штоле?

То, что оно там показывает, это н значит, что оно где-то их учитывает

$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
Insanity
На сайте с 02.10.2012
Offline
14
#4
september:
Вы смотрите через site:site.ru и долистываете до последней страницы штоле?
То, что оно там показывает, это н значит, что оно где-то их учитывает

Да. Смотрю выдачу.

Показывает Результатов: примерно 96.

Всего 9 страниц.

Долистываю до 3 траницы. Стает в выдаче 3 страницы и выдается сообщение Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (28)
.

Нажимаю на Показать скрытые результаты.

Перехожу на третью страницу. И внизу и на на последующих страницах получаю ссылки типа.

сайт.ru/components/com_jcomments/images/smilies/
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/18
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/11
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/15
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
jesterlg13
На сайте с 14.01.2013
Offline
54
#5
Sanu0074:
закрой их в .htaceess

Больше никаких вариантов нет?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий