В яндекс попадают дубли страниц с ? на конце

53

devmastery

30 марта 2025, 06:12

1267

Всем привет.

Перепилил свой сайт на next.js, и сразу столкнулся со сложность.

В яндекс стали лететь дубли страниц с ? на конце. Видимо, краулятся линки на префетчи (https://nextjs.org/docs/pages/api-reference/components/link), параметры яндекс снимает и остается только страница с ?.

Что с этим делать?

Я везде поставил каноникал, но достаточно ли этого? В истории обхода все равно страницы попадают.

Еще, как вариант, прописать в роботах

User-agent: *
Disallow: /*?$

Но, при тесте этого конфига в онлайне, все равно показывает, что страницы с ? на конце попадут в обход.

Сайт в подписи.

Или забить?

Сайт под ключ (https://devmastery.ru)

D

53

devmastery

1 апреля 2025, 06:16

#1

Сам отвечу себе. Яндекс ответил.

Чтобы запретить индексировать такие страницы, в файле в robots.txt укажите директиву:
Disallow: *?$

Причем я пробовал ставить эту директиву и проверять в онлайн в каком то туле, но он пропускал эти страницы. Это меня ввело в заблуждение.

В анализе роботов в вебмастере - это директива работает.

1

Robots.txt прописано «User-Agent: * Песочница и директива Disallow Страница с 301 редиректом

156

roma neo

1 апреля 2025, 06:49

#2

devmastery #:

Сам отвечу себе. Яндекс ответил.

Чтобы запретить индексировать такие страницы, в файле в robots.txt укажите директиву:
Disallow: *?$

Причем я пробовал ставить эту директиву и проверять в онлайн в каком то туле, но он пропускал эти страницы. Это меня ввело в заблуждение.

В анализе роботов в вебмастере - это директива работает.

Я так и делаю, помогает.

https://Doska.info/ - доска объявлений / http://Znakomstva.net/ - знакомства / https://Doma.info/ - сайт недвижимости.

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах

Зачем быть уникальным в мире, где все можно скопировать