Не удаляет страницы из индекса запрещенные в robots

1 234
D2
На сайте с 29.12.2011
Offline
50
#21

У меня пока мертвые ссылки были запрещены к индексации они висели в гугле. Я их в роботся разрешил, гугл пересканировал и постепенно удалил мертвые.

S
На сайте с 26.11.2012
Offline
3
#22

В WMT страницы удаляются практически в этот же день. В чем проблема? А роботс не удаляет страницы, а блокирует доступ к ним, тем самым вы еще больше усугубляете ситуацию.

Villis
На сайте с 29.07.2011
Offline
76
#23
Sitense:
вы еще больше усугубляете ситуацию.

Хорошо, а тогда как быть? Есть страницы - результат сортировки товара. Каким то хреном, гугля считает такую страницу релевантнее продвигаемой. Запрещаем страницу с сортировкой в роботсе. ГВМ ругается, что важная страница запрещена в роботсе. Тогда принудительно удаляем её через запрос. Страница удаляется но ГВМ продолжает ругаться, что важная страница удалена и запрещена к индексированию. Уже больше месяца в ГВМ знак неполадки на сайте. Как с этим бороться?

E
На сайте с 21.09.2009
Offline
283
#24

Villis, какая разница у страниц? Только в наличии сортировки?

Villis
На сайте с 29.07.2011
Offline
76
#25
easywind:
Villis, какая разница у страниц?

Никакой разницы нет, страницы абсолютно идентичны. все товары на одной странице категориии. Меняется только последовательность вывода товаров.

E
На сайте с 21.09.2009
Offline
283
#26

Villis, если гетом добавляется параметр для поиска то для гугла это уже разные страницы. Предположим что Вы както неправильно правило выставляете в роботс. Пример в ЛС покажете мне для общего развития?

Villis
На сайте с 29.07.2011
Offline
76
#27
easywind:
Villisто для гугла это уже разные страницы. Предположим что Вы както неправильно правило выставляете в роботс. Пример в ЛС покажете мне для общего развития?

Я и не спорю, что страницы разные. Содержание одинаковое. Основная, продвигаемая страница с категорией товара имеет вид ?categoryID=1, а страницы с разного вида сортировками ?categoryID=1&sort..., соответственно, в роботсе прописано Disallow: /index.php?*sort=, что переводится как запрет включать в индекс любые результаты сортировок, а по сути это просто дубли, не нужные пс, но необходимые для пользователей. Имхо.

E
На сайте с 21.09.2009
Offline
283
#28

Villis, не силен я в командах роботс.тхт :)

В похожей ситуации сделал при наличии на странице определенного гета в Вашем случае sort= отдавать 404. За 2 недели все страницы вылетели из индекса. Вы всю ветку читали? Если страница проиндексированна то запрещать в роботс ее бесполезно.

Villis
На сайте с 29.07.2011
Offline
76
#29
easywind:
Villis, Если страница проиндексированна то запрещать в роботс ее бесполезно.

Страница не проиндексирована. Её нет в кэше пс. Однако, данный факт не мешает гуглю считать это ошибкой.

УС
На сайте с 04.10.2011
Offline
65
#30

кто вам сказал что роботсом можно удалять страницы из индекса???????

сколько можно одно и то же мусолить????

бамболео бамболео
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий