Google игнорирует файл robots?

12
Romaldo
На сайте с 10.02.2008
Offline
185
1099

Приветствую.

Такая ситуация.

После перевода сайт на новую верcию joomla, был включен sef.

Для того, чтобы выпали из индекса страницы со старыми урлами, в файл robots добавил правило


Disallow: /index.php?*

Яндекс почти мгновенно отреагировал было около 20к страниц вместе с дублями и т.д. - стало около 5к, как и должно быть.

Гуглуже 2 месяца никак не реагирует, захавал новые страницы, остались старые, итого не пойму откуда, около 200к страниц.

Как же все такие запретить, а главное убрать из индекса гугла все страницы, содержащие

index.php?
lorio
На сайте с 23.12.2011
Offline
31
#1

редиректом склеить можно ...

sergey885
На сайте с 19.08.2002
Offline
248
#2
гуглуже 2 месяца никак не реагирует,

два... у меня 9... (:

интернет-маркетинг. стратегии развития веб-проектов.
New Member
На сайте с 21.12.2008
Offline
211
#3

У меня все нормально почикал меньше, чем за 2 месяца.

Был старый сайт, переделали полностью.

На старые ставишь 404 ошибку, закрываешь роботс, и все прекрасно удаляет и хавает новое.

Раскрутка сайтов (https://seomasters.com.ua/)
Romaldo
На сайте с 10.02.2008
Offline
185
#4
New Member:
У меня все нормально почикал меньше, чем за 2 месяца.
Был старый сайт, переделали полностью.
На старые ставишь 404 ошибку, закрываешь роботс, и все прекрасно удаляет и хавает новое.

Так вот видимо в этом и проблема...

У меня старые страницы вида

index.php?option=com_mtree&task=viewlink&link_id=464&Itemid=171

Ведут либо на главную, либо даже на существующую страницу, но не сефную, то есть у страницы два урла сефный и не сефный...

Может как-то можно по маске редиректить на 404...

Или я даже не знаю как...

New Member
На сайте с 21.12.2008
Offline
211
#5
romagromov:
Так вот видимо в этом и проблема...
У меня старые страницы вида
index.php?option=com_mtree&task=viewlink&link_id=464&Itemid=171

Ведут либо на главную, либо даже на существующую страницу, но не сефную, то есть у страницы два урла сефный и не сефный...

Может как-то можно по маске редиректить на 404...
Или я даже не знаю как...

Нет, редирект на 404 страницу, это не 404 ошибка, абсолютно разные вещи, и основная ошибка многих.

Видимо в этом и проблема, вам нужно найти способ, чтобы при открытии этих страниц сервер отдавал 404 ошибку, тогда гугл свое дело сделает быстро.

Romaldo
На сайте с 10.02.2008
Offline
185
#6

Правильно, я же и спрашиваю, как-то можно по маске отдать 404 ошибку, с помощью htaccess например?

V
На сайте с 16.05.2010
Offline
66
#7

Я вот так роботс настроил и без 404 редиректа все по-удалялось из кеша:

Disallow: /index.php?option=com_mtree

S_A_N_T_A
На сайте с 23.11.2009
Offline
154
#8
romagromov:
Правильно, я же и спрашиваю, как-то можно по маске отдать 404 ошибку, с помощью htaccess например?

А вы хотите чтобы он из индекса выплюнул все страницы кроме главной?

---------- Добавлено 01.02.2012 в 17:33 ----------

Или только старые?

---------- Добавлено 01.02.2012 в 17:38 ----------

Может тут что нибудь найдёте:

1) sb-money.ru/article.php?a=75

2) devaka.ru/articles/redirect-301

Ventor
На сайте с 06.12.2010
Offline
57
#9

У меня также, только с движком ip board.

Почти такой же запрет Disallow: /*index.php?

Вижу что роботом в вебмастере они блокируются, но в индекс, спустя 2 недели, добавляет каждый день по несколько десятков страниц.

Страницы с ошибкой 404 и запртые роботсом тоже не удаляет уже 3 недели.

svoloth
На сайте с 01.01.2011
Offline
73
#10

У меня был клиент у которого был на всех страницах <meta name="robots" content="noindex">, сайт стоял в топе

SEOpaslaugos.com - Продвижение сайтов в Литве.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий