УРЛы то с прописными буквами, то со строчными. Удаление и добавление. Что за глюк?

Ч
На сайте с 16.12.2010
Offline
362
1576

Всем привет:

При индексации сайта робот добавляет страницы вида:

https://site.ru/product/Dsas-Ferww-G5415/

и удаляет вот такие:

https://site.ru/product/dsas-ferww-G5415/

Но, на сайте нет страниц с урлами с большими буквами, проверил все IDшники страниц в админке, все урлы на сайте только с маленькими буквами. Откуда робот их берет?

Потом он начинает менять страницы в другую сторону, удаляет урлы с прописными буквами и добавляет в индекс урлы со строчными. И так постоянно, туда сюда, то добавит, то удалит. Само собой, один из урлом робот считает дублем.

Что это такое?

Спасибо.

богоносец
На сайте с 30.01.2007
Offline
753
#1

Не само собой. Вредители стараются...

Если у вас всё с маленькой буквы, можете в robots.txt перечислить:

Disallow: *Q

Disallow: *W

Disallow: *E

Disallow: *R

Disallow: *T

Но вообще нормально настроенные серваки отвечают 404 на непраВильный регистр

ps Только из-за урла/уРла — это не дубли.

Ч
На сайте с 16.12.2010
Offline
362
#2
богоносец:
Вредители стараются

Вредители что то поселили на сайте? ИЛи как?

Только из-за урла/уРла — это не дубли.

Вебмастер пишет:

Дубль
Страница дублирует уже представленную в поиске страницу
Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

Причем, Яндекс именно удаляет из индекса одну страницу и добавляет другую. Потом наоборот.

богоносец
На сайте с 30.01.2007
Offline
753
#3

Вот и сделайте 301.

Или 404 по непрАвильному регистру.

OffTop

Давно это было:

В настоящий момент из страниц, url которых различается только в регистре, в результатах поиска может участвовать только одна из этих страниц. C помощью файла sitemap можно повлиять на URL отображаемой страницы в результатах поиска, указав в нем адрес страницы в требуемом регистре.
С уважением, Платон Щукин

С сайтмапом не пробовал.

А без него в поиске могут участвовать разные /страницы /странИцы ( 111 : : 222 ),

но при проверке индекса покажется одна.

Хоть десяток урлов разного регистра|реГистра, при разном контенте — это не дубли... ну или не совсем...

Ч
На сайте с 16.12.2010
Offline
362
#4

Сделал 301.

При заходе по урлам с большими буквами всё переадресовывается как надо, но Яндекс все равно добавляет в индекс такие урлы и удаляет мальнькие. Потом, проходит время и делает наоборот и так по кругу, что за хрень, не пойму.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий