Дубли страниц

Вот, что мне посоветовали на форуме webimho:

Закрыл URL-ы вот такого типа:

Disallow: /catalog/1/12/36.html

Disallow: /catalog/1/12/101.html

Disallow: /catalog/1/12/736.html

вот так:

RewriteCond %{QUERY_STRING} 1\/(.*)\/

RewriteRule ^.*$ - [G]

Если что - можно в поисковике вбить "htaccess rewritecond" и поискать, как зафильтровать твой тип страниц, чтобы они выдали 410.

Я вот все никак не доберусь до этого.

---------- Добавлено 29.08.2012 в 14:36 ----------

Сам толком еще не разобрался, но думаю изучить этот вопрос :)

)))) Если б мне помогло, я б не задавал бы этот вопрос )) Причем тут руки, если все сделано по правилам, но каким-то странным образом ничего не помогает )

Прописывай canonical.

У меня на одном сайте в индексе оказалась тысяча страниц, которые взяты аж с технического адреса... Причём с этих страниц редиректит на правильные, но всё равно они в индексе, т.е. даже .htaccess не лечит. Прописал везде canonical. Жду.

А пользователь что тогда тоже будет видеть 410.

У меня везде прописано canonical - но... Гуглу все равно все равно :), кажется он вообще все игнорирует.

starokonka, объяснить поечему не помогает? Думаю у Вас так бот проиндексировал страницу. Вы ему потом вставили в робот не сканировать и на страницу ноиндекс правильно? Вы недаете ему прочитать ноиндекс так как поставили не сканировать вот и вся проблема.

Проводил эксперимент по дублям, тоже гугл игнорировал и роботс и указания в WMT. Сделал копию сайта, только для гугла, хватило лишь роботс что бы проиндексировалось только то, что нужно. в яндексе почему то всё было впорядке когда я в роботс прописал рекомендации, достаточно оперативно весь мусор уплыл... Вывод - гугл в этом плане кривой, а не руки у вебмастеров.

Этого не достаточно. Читайте посты выше про ноиндекс.

Вы думаете что я так не делал? Убирал с роботс правило и оставлял только ноиндекс, понаблюдав за этим 2 месяца я вернул обратно в роботс данное правило так как в WMT каждый день появлялось до 100 ошибок....

Раньше также индексировались вот такие страницы: /products/*/*/*;*/index.html но прописав в роботс правило Disallow: /products/*/*/*;*/index.html он их перестал сканировать )))) но вот страницы такого вида Disallow: /products/*/index.html?filter=[] так и продолжает индексировать.....

Читайте пост внимательно про копию сайта! К тому же он и хлебные крошки на всех страницах копии учел в отличие от оригинала, так что не надо умничать и пустоcловить, что на форуме гугла, что здесь вы только этим и занимаетесь:)