Баг CMS вызвал проблемы с Яндексом

robots.txt вы не сможете - синтаксис не позволяет

Для Гугл я бы редирект 301 поставил, и можно про баг и не думать. Для яндекса тоже наверно должно сработать, но яндекс я пока плохо знаю - не уверен

Имхо проще настроить CMS, или дописать, так, чтобы страницы которых не должно быть выдавали 404 ошибку. А так все предложенные варианты будут не по уму, ну не правильно это, когда ссылок нет, а страницы есть... третий вариант вообще не сработает сто про.

Чем так мучаться, проще CMS довести до ума! С обязательной страницой 404! Должно помочь, по крайной мере, у меня была такая же проблема с моим корпоративным сайтом, и вроде все решилось.

Удачи. :)

1) 404 по неверным урлам

2) robots.txt

Дело в том, что я пока смог только убрать ссылки на дубли. А как выдавать ошибку я не придумал. Используется CMS Joomla, кто то может доработать ее так что бы при обращении к дулю выдавалась ошибка?

Все ссылки на стать имеют вид

http://domen.ru/content/view/150/30/

Все ссылки на дубли заканчиваются /1/ по /15/ т.е.

http://domen.ru/content/view/150/1/

…

http://domen.ru/content/view/150/15/

Я прописал в htaccess:

RewriteEngine on

RewriteCond /1/$ !^/404.php [NC]

RewriteRule /1/$ /404.php

...

RewriteCond /15/$ !^/ 404.php [NC]

RewriteRule /15/$ /404.php

Помогло, но я не селен в mod rewrite, проверьте пожалуйста правильность, а то вдруг где то еще вылезет и будет еще хуже.

Есть наверно способ не писать 15 раз, а указать диапазон от 1 до 15, что то типа

RewriteCond /от 1 до 15/$ !^/404.php [NC]

$ - я так понял означает, что далее знаком уже быть не долно.

Можно еще добавить <meta name=robots content=none> в мета-теги для ошибочных страниц.

лучше 301 с редиром на единственную оставленную страницу

Яндекс, кстати - тоже учитывает, даже более того - мне показалось любит:)

Сделал 404 на дублях, что то другое реализовать не смог.

успокойтесь на этом, и ждите