в том то и дело, что если поисковый бот зайдет по внешней ссылке на страницу https://starvell.com/youtube/services/likes - он "увидит" уникальный контент принадлежащий этой же странице. Если же бот будет ходить по внутренним ссылкам, он сперва зайдет на главную страницу категории https://starvell.com/youtube/services, затем перейдет с нее на внутреннюю страницу категории https://starvell.com/youtube/services/likes (на неё в этом случае подтянется контент со страницы https://starvell.com/youtube/services), то есть, в таком случае страница https://starvell.com/youtube/services/likes будет дублем страницы https://starvell.com/youtube/services
Так вопрос, бот ходит по внутренним ссылкам сайта, написанного на скрипте ? Если не ходит - то и проблемы нет никакой. Хотя тогда другой вопрос возникает - а как поисковик находит новые страницы на "скриптовом" сайте, если не ходит по внутренним ссылкам.
Ещё как вариант можно бахнуть canonical на главную страницу каждого раздела + выводить ссылки на эти мусорные страницы через JS, чтобы боты меньше их кушали.
Считаю то что и не убавляет.
это будут единичные заходы. а так на 99.99% гугл яндекс и бинг будут следовать указаниям и не пойдут по таким разделам.
ходить будут всякие другие бешенные ИИ и говноботы.
Будут. Тебе это простительно не знать, ты не сеошник, но вот сеошники тут местные - они то должны знать, что бот всё равно будет ходить в этом случае.
В гугле даже есть специальный пункт, который называется "проиндексировано несмотря на блокировку в файле robots.txt"
Вот расскажите, сеошники, как может робот не ходить на эти страницы, при этом индексировать их?
Можете попробовать на таких страницах прописать:
Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.
Робот их будет в любом случае дёргать, даже если запретить во всех местах.
А если я не понял, то вообще проблема не является проблемой.
Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.
Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
