Вопрос по robots.txt

Никак. 10 никак.

т.е. вы хотите сказать, что и мой вариант не подходит?

блин, а как же быть...

дело в том что урлы с цифрами (это id статей) = полный дубль таких же страниц, но только без цифр. А настроить правильно редирект не получается, писать на каждый урл отдельной строчкой тоже не вариант.

stroilogik добавил 14.12.2011 в 18:42

извиняюсь, я понял...буду использовать rel="canonical"

но в любом случае интересно было бы узнать про роботс.

если у кого будут идеи - отпишитесь пожалуйста.

Подходит. Но он как бы не одной строкой.

stroilogik, а Вы изначально не предполагаете, что если настроено ЧПУ, то могут быть материалы с цифрами в урлах? Может всё-таки с редиректом разобраться?

kimberlit, спасибо за ответ.

Для наглядности приведу пример:

было - /2-razdel/48-kategoriya/1897-statya-o-juchkah.html

теперь так - /razdel/kategoriya/statya-o-juchkah.html

Страница доступна по 2 адресам

Ну и вот, редирект не получается сделать, т.е. можно конечно каждый урл занести в .htaccess, но тут проще или роботс, или rel="canonical".

Если подскажете как массово прописать редирект, буду очень благодарен.

stroilogik, редирект

RewriteEngine On

RewriteRule ^[0-9]+-([^/]+)/[0-9]+-([^/]+)/[0-9]-(.+\.html)$ /$1/$2/$3 [R=301,L]