Загружено Я роботом слишком много страниц

V
На сайте с 16.01.2014
Offline
40
438

Здравсвуйте!

Сайт tru-ru.ru

Загружено роботом 329 страниц, исключено 100, страниц в поиске 49.

Поскольку сайт не работает пока, то 49 страниц в поиске это ок.

100 исключенных тоже ок, там 404 и т.п.

А вот остальные 180 загруженных - проблема.

Недавно прописали noindex для дублей (дня 4 назад). На следующий день пришел робот, однако ничего не изменилось - все так же загружено 329 страниц.

Посоветуйте, пожалуйста

---------- Добавлено 20.01.2014 в 15:07 ----------

Забыл добавить, что сайт на опенкарте

Никитос
На сайте с 14.05.2013
Offline
14
#1

А что это за 180 страниц ? К какому разделу/ или чему относятся ?

В роботе прописывали запрет индексации?

samimages
На сайте с 31.05.2009
Offline
427
#2

Загружено - так и останется... навсегда.

Те что с 404-ым ответом, в общем тоже сойдет, а вот "без причины" удаленные это чаще всего хлам с 200-ым ответом, скорее всего дубли - это очень хороший шаг в АГС.

Что делать?

Перелопачивать двигло, закрывать дубли и не допускать их появления в дальнейшем.

---------- Добавлено 20.01.2014 в 19:06 ----------

vchk:

Недавно прописали noindex для дублей (дня 4 назад).

Не не не. минимум robots - disallow, а еще лучше закрыть их в .htaccess

Опыт как иммунитет — приобретается в муках! Аудит семантики от 15К [долго] - ЛС
V
На сайте с 16.01.2014
Offline
40
#3
Никитос:
А что это за 180 страниц ? К какому разделу/ или чему относятся ?
В роботе прописывали запрет индексации?

Что это за страницы сказать сложно. Скорее всего это дубли, по крайней мере большая часть. В роботе запрет индексации пока не прописывали. Пропишем, спасибо.

---------- Добавлено 20.01.2014 в 18:21 ----------

samimages:
Загружено - так и останется... навсегда.

.....

Не не не. минимум robots - disallow, а еще лучше закрыть их в .htaccess

Спасибо, сделаем как вы посоветовали.

А вот насчет загруженных, так что, даже после закрытия в .htaccess все равно останется? Если так, то не будет ли это вредить сайту?

samimages
На сайте с 31.05.2009
Offline
427
#4

Останется. Нет не будет. Это просто статистика. Данные об исключенных более информативны.

V
На сайте с 16.01.2014
Offline
40
#5
samimages:
Останется. Нет не будет. Это просто статистика. Данные об исключенных более информативны.

По исключенным пишет, что 97 страниц - 404 (в основном это более не существующие адреса, а также некие страницы authentification) и 3 страницы с мета-тэгом noindex

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий