Ещё как вариант можно бахнуть canonical на главную страницу каждого раздела + выводить ссылки на эти мусорные страницы через JS, чтобы боты меньше их кушали.
Считаю то что и не убавляет.
это будут единичные заходы. а так на 99.99% гугл яндекс и бинг будут следовать указаниям и не пойдут по таким разделам.
ходить будут всякие другие бешенные ИИ и говноботы.
Будут. Тебе это простительно не знать, ты не сеошник, но вот сеошники тут местные - они то должны знать, что бот всё равно будет ходить в этом случае.
В гугле даже есть специальный пункт, который называется "проиндексировано несмотря на блокировку в файле robots.txt"
Вот расскажите, сеошники, как может робот не ходить на эти страницы, при этом индексировать их?
Можете попробовать на таких страницах прописать:
Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.
Робот их будет в любом случае дёргать, даже если запретить во всех местах.
А если я не понял, то вообще проблема не является проблемой.
Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.
Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
