Это мусор в голове.
какой смысл в этих страницах? это косяк разработчиков. аргументируйте, зачем хамить?
Это страницы пагинации, закройте их в robots.txt или через двиг:
Кеширование:
это страницы дубли и мусор, зачем они вообще должны существовать? Это проблема когда на сайте более млн записей и легкий способ уронить сервер. Поэтому - только блок.
Вы пробовали переходить по ссылке типа?
кстати, пример сайта который Вы приводили тоже настроил редирект и словил глюки (видимо не тестил)...
да, перешел вот сейчас, получил 403. Все нормально.
нет, надо блокировать только урлы типа
https://domain.com/xfsearch/year/page/8841/
т.е. не все урлы с xfsearch плохие. Я уже писал выше решение которое у меня работает, но написали что оно не верное и будут глюки.
location /xfsearch/year/page/ { return 403; }
Не лучше будет 301 редирект?
301 или 403, да без разницы. главное надо закрыть эту дыру.
ждите глюков с таким правилом, хотел помочь...
если хотите конкретный урл, то можно смотреть любой сайт на этом движке. Вот нашел, в сети сайт про аниме, та же самая проблема - https://anime-free.ru/xfsearch/sezon/page/10
location /xfsearch/year/page/ {return 403;}
сайт настолько засекречен, что ссылку не можете показать?
это типа архивных страниц или что? Может конкретную ссылку покажите?
да нет, они показывают все новости по допполю year.
https://domain.com/xfsearch/year/2001/
Вот так выглядят в частности норм урлы, но двиг зачем-то создает список из новостей у которых присутсвует это допполе (year).
