На сайте в индексе появились дубли страниц. Поисковые боты (или кто-то ещё) генерируют URL с мусорными параметрами в строке запроса, например:
/category/article?sa=X&ved=2ahUKEwj...&page=1 /articles/grustnye-istorii?%86%DFut%9F%2F%E4%F2... /stihi?post=18659616_67&page=211
Действительные url такие:
/category/article?page=1
/articles/grustnye-istorii
/stihi?page=211
Сам движок Drupal эти параметры игнорирует, но отдаёт код 200, из-за чего поисковики считают это полноценными страницами и индексируют их как дубли.
Какой способ лучше выбрать для решения проблемы?
Вариант 1. Блокировать в robots.txt через Disallow: /*?* и Disallow: /*?*%* и т.п. — отсечёт ботов, но сами URL останутся доступны.
Вариант 2. Настроить редирект на уровне nginx — например, через if ($request_uri ...) или map , чтобы автоматически делать 301-редирект с мусорных параметров на чистый URL.
Какой вариант безопаснее и правильнее для Drupal 10? Есть ли у кого готовые рабочие примеры для nginx под эту задачу (безопасно удалить всё, кроме page= )? Или, может, есть другие решения?
я бы советовал перевести сайт на ЧПУ, а затем входящие левые параметры блокировать или редиректить через 301а нужные хорошие параметры, вроде меток UTM отфильтровать через Clean-Param
