как убрать страницы из индекса?

trwiz
На сайте с 26.05.2007
Offline
164
481

запрос site:www.domen.ru показывает 18 000 страниц в индексе, при запросе без соплей 1600 страниц.

как убрать лишние страницы из индекса?

в роботсе прописал, запретил к индексации ненужные параметры в вэбмастере "Параметры URL", даже создавал запросы на удаление "Удалить URL-адреса"

никаких изменений, как были проиндексированы левые урлы с параметрами так и остались, при вводе запрещенного урла пишет в сниппете "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но почему оно фактически не вылетает из индекса?

еще косяк, запрос site: без www показывет 25к страниц =)

SM
На сайте с 07.06.2012
Offline
30
#1
trwiz:
запрос site:www.domen.ru но почему оно фактически не вылетает из индекса?

Гугль "помнит" страницы и держит их в индксе от 1го до 7ми месяцев.

Убирать лучше помещая в тэг страницы robots="noindex"

S3
На сайте с 18.04.2011
Offline
109
#2
trwiz:
запрос site:www.domen.ru
никаких изменений, как были проиндексированы левые урлы с параметрами так и остались, при вводе запрещенного урла пишет в сниппете "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но почему оно фактически не вылетает из индекса?

потому что роботс, для гугла, запрещает сканирование, а индексирование для гугла запрещает метатег noindex, но чтобы бот увидел метатег он должен иметь доступ к странице т.е. запрета на стр в роботсе не должно быть - тут /ru/forum/806103 ссылки на справку

trwiz
На сайте с 26.05.2007
Offline
164
#3

самое смешное, что если проверять проиндексированные страницы в google.com, то он отображает нужное кол-во =)

evgenktulu
На сайте с 06.08.2013
Offline
63
#4

Вот тут поднималась эта проблема - просмотрите, может, найдете полезную информацию

trwiz
На сайте с 26.05.2007
Offline
164
#5

да я уже почитал спасибо, кто пробовал в мета ноиндекс прописывать? срабатывает?

S3
На сайте с 18.04.2011
Offline
109
#6

да, срабатывает

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий