В яндекс попадают дубли страниц с ? на конце

D
На сайте с 30.09.2018
Offline
53
1251

Всем привет.

Перепилил свой сайт на next.js, и сразу столкнулся со сложность.

В яндекс стали лететь дубли страниц с ? на конце. Видимо, краулятся линки на префетчи (https://nextjs.org/docs/pages/api-reference/components/link), параметры яндекс снимает и остается только страница с ?.

Что с этим делать?

Я везде поставил каноникал, но достаточно ли этого? В истории обхода все равно страницы попадают.

Еще, как вариант, прописать в роботах

User-agent: *
Disallow: /*?$

Но, при тесте этого конфига в онлайне,  все равно показывает, что страницы с ? на конце попадут в обход.

Сайт в подписи.

Или забить?

Сайт под ключ (https://devmastery.ru)
D
На сайте с 30.09.2018
Offline
53
#1

Сам отвечу себе.  Яндекс ответил.

Чтобы запретить индексировать такие страницы, в файле в robots.txt укажите директиву:
Disallow: *?$

Причем я пробовал ставить эту директиву и проверять в онлайн в каком то туле, но он пропускал эти страницы. Это меня ввело в заблуждение.

В анализе роботов в вебмастере - это директива работает.

roma neo
На сайте с 05.06.2008
Offline
152
#2
devmastery #:

Сам отвечу себе.  Яндекс ответил.

Чтобы запретить индексировать такие страницы, в файле в robots.txt укажите директиву:
Disallow: *?$

Причем я пробовал ставить эту директиву и проверять в онлайн в каком то туле, но он пропускал эти страницы. Это меня ввело в заблуждение.

В анализе роботов в вебмастере - это директива работает.

Я так и делаю, помогает.
https://Doska.info/ - доска объявлений / http://Znakomstva.net/ - знакомства / https://Doma.info/ - сайт недвижимости.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий