Борьба с дублями на сайте.

Так.

в Сохраненные копии загляните... снимок страницы по состоянию на 6 ноя 2012 09:33:24 GMT

Чтобы пролезть по десяткам тыщ страниц и увидеть редирект или каноникал... боту понадобится много времени. Или Гуглу надо срочно перегрузить сеть/сервак запросами?

Редиректом надо предотвращать появление дублей, а исправлять ... может быть и долго.

И еще рекомендуется удалить текст на пагинаторе, независимо от того, закроете все с ? в роботсе, или нет.

Если оставлять сайт так как он есть, а он - ужасен, то Ваше решение такое:

1. в robots.txt - Disallow: /*?

2. Переименование всех категорий (изменение адресов страниц)

3. Запрет в robots.txt существующих категорий (до изменения страниц)

4. Удаление через Google WM тех категорий, которые были (опция удалить каталог)

5. На страницы фильтров на всякий случай укажите мета-тег <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

6. Если пытаетесь делать точки входа по разным городам, следите за текстовым описанием, не допускайте дублирования текстов.

7. И еще я бы сделал все УРЛы латиницей.

богоносец, а можно на сайте закрыть индексацию? Чтобы сайт вылетел вылетать он же будет быстрей по логике. А затем, включить индексацию, чтобы он начал глотать нормальные страницы. Так можно сделать или риска много?!

---------- Добавлено 01.12.2012 в 20:21 ----------

http://orange-store.com.ua/robots.txt значит просто добавлю Disallow: /*?

Я бы не стал...

В robots.txt боты заглядывают иногда, по логике, им не надо будет обращаться к тясячам страниц, чтобы многие из них повыкидывать.

Я завлекаю робот гугла на страницы с помощью объявлений адсенс. Открывал дубли с установленными обявлениями, потом сразу же ставлю с этих страниц редиректы на правильные страницы, через некоторое время робот заходит и вносит изменения в свой индекс. Я таким образом удалил из индекса за неделю около 3000 дублей. В ВМТ дубли все исчезли.

Правда, индекс после этого резко уменьшается и очень инерционно начинает расти за счет правильных страниц, но зато выдача становится качественнее.

---------- Добавлено 01.12.2012 в 22:31 ----------

Если удалять страницы из индекса через роботс, то можно ждать полгода. Потому что в роботс вы запрещаете вход для робота и он не получает новую копию страницы с редиректом и не знает, что надо вносить изменения в индекс до тех пор, пока случайно по какому-то своему внутреннему расписанию не соберется заглянуть на старую страницу.

---------- Добавлено 01.12.2012 в 22:36 ----------

Если просто закрыть в роботс весь сайт от индексации, из индекса гугла полностью он может исчезнуть аж через год, а до того будет появляться в выдаче все реже и реже. А когда потом вы его снова откроете для индексации, то гугл тоже не сразу начнет его индексировать.

сейчас у меня стоит тег каноникал,и сделан роботс! Я понимаю, что изменения меня ждут через пол года ?)) можно ещё каким то образом сделать этот момент быстрей?! Из всего сказанного я понял только одно ждать и ещё раз ждать?!

Если стоит 'link canonical', то в роботс я бы эти страницы не закрывал. Пусть робот заходит и видит, что страница дублирующая, он ее так быстрее удаляет. А если в роботс страницы закрыты, то робот не зайдет и не увидит 'link canonical'.

А в то время пока "просто ждать", стоит заняться существенной модернизацией предназначенных для индексации роботами страниц, чтобы они побольше отличались от их дублей и начали активно индексироваться на смену дублям. А дубли постепенно исчезнут, если на них стоит 'link canonical'.

Смотрите если у нас идёт всё таким образом. Вот хорошая страница http://orange-store.com.ua/krypnay-bitovay-tehnika/holodiljniki/dvyhkamernie/holodiljnik-dvyhkamernij-LG-GWB489BLCW/dnepropetrovsk

вот дубыль http://orange-store.com.ua/krypnay-bitovay-tehnika/holodiljniki/dvyhkamernie/holodiljnik-dvyhkamernij-LG-GWB489BLCW/dnepropetrovsk?page=9%2F%2F%2F%2F&manufacturer_id=12

на дубле есть каноникал <link rel="canonical" href="/krypnay-bitovay-tehnika/holodiljniki/dvyhkamernie/holodiljnik-dvyhkamernij-LG-GWB489BLCW/dnepropetrovsk">

это нормально?

ну и как посоветовал nick_c удалять ЮРЛ ручками в вебмастере гугла и ждать. Ну и ещё открыть индексацию на все страницы.

Но хелпы по robots.txt почитайте.

А дубли у вас не закрыты, ждите появления новых... возможно, с большей скоростью, чем удаление старых.

богоносец, я только что открыл доступ роботам дал им возможнсоть походить по сайту и понять где стоит тег конаникал как сказал ef00t, что мне опять закрыть? чтото я запутался=)