Яндексу и Гуглу не надо загружать в индекс вот эти страницы. Потому что они мусорные.

https://yandex.ru/support/webmaster/controlling-robot/html.xml

gulakandoz, что бы робот их вообще не загружал, нужно закрыть доступ к страницам для ботов поисковых систем к определенным страницам, например ограничив доступ через User-Agent. Но тот факт, что на часть сайта поисковые роботы вообще не могут попасть, очень вряд ли будет плюсом при ранжировании сайта.

Что у вас такого на страницах, что закрытие в robots.txt недостаточно?

В этом и суть, что это миллионы дубликатов. Поэтому и не хотим засорять индекс

убейте их для ПС в htaccess

Чтоб они вообще получали 410, иначе гугле так и будет шляться по 404 смотреть, а вдруг появилась. У него бот - маньячный

gulakandoz, я бы оставил как есть, и не пытался обмануть ПС. Посмотрите на любой крупный интернет-магазин, там тоже тысячи если не миллионы страниц с дублированным конетнтом за счет фильтров, поиска и т.п. при этом проблему у них с ранжированием нет.

В чем обман то?

У человека стоит движок, который слепили на промокашке осьмирукие восьмижопы, которые по тупой самонадеянности мнят себя программистами.

А он хочет помочь ПС не держать в базе весь этот мусорный контент, что генерирует этот осьмирукий движок, разгрузить сервера, и так забитые всяким хламом.

:)

donc, вы безусловно правы, но с другой стороны правда и то, что больше количество ссылок страницы с 410 кодом и невозможность обойти роботом весь сайт, не зная даже вирусы там или порно-контент, тоже вряд ли прибавляю очков сайту в глазах ПС.

weblad, по хорошему - надо просто допиливать движок, чтобы весь этот мусор отдавал 301 на нужные страницы или 404 (если совсем некуда редериктить) (410), но вариант с прямым запретом ботам переходить на определенные страницы - проще реализовать