Борьба с дублями в вебмастере яндекса + есть странные урлы

12
A
На сайте с 12.10.2011
Offline
213
367

Всем привет,

Тут спрашивал где-то уже про это, хочу более детально разобраться.

1. По ошибке хостер настроил неправильный .htaccess и появлись дубли

было: site/country/

стало: site/country/?placeid=243

и индексе и те и те варианты, в выдаче правильный урл (без placeid). Видимо потому что есть ref=canonical.

И тем не менее, если сделать в яндексе поиск по placeid то таких страниц тоже навалом. Хотелось бы их исключить. Стоит ли или сам выкинет потом?

Может какой редирект насильственный сделать в .htaccess или в robots что нибудь прописать?

2. Смотрю в вебмастере много странных урлов пояивлось, не подскажите это почему такие? Может это из-за ботов или еще чего нибудь?

типа таких:

site/undefined

site/NOCLICK_

site/огту

site/function.session-start

site/function.mysql-connect



Особенно интересуют последние две..


Vladimir
На сайте с 07.06.2004
Online
592
#1
alexverem :

Всем привет,

Тут спрашивал где-то уже про это, хочу более детально разобраться.

1. По ошибке хостер настроил неправильный .htaccess и появлись дубли

и индексе и те и те варианты, в выдаче правильный урл (без placeid). Видимо потому что есть ref=canonical.

И тем не менее, если сделать в яндексе поиск по placeid то таких страниц тоже навалом. Хотелось бы их исключить. Стоит ли или сам выкинет потом?

Может какой редирект насильственный сделать в .htaccess или в robots что нибудь прописать?

2. Смотрю в вебмастере много странных урлов пояивлось, не подскажите это почему такие? Может это из-за ботов или еще чего нибудь?

типа таких:

Особенно интересуют последние две..


Хостер, который лезет в htaccess, это не хостер. Если вносит исправления, по незнанию, тем более...
1. редирект 301
2. проверять сайт на взлом
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
МА
На сайте с 02.11.2018
Offline
182
#2

Можешь в роботсе прописать что-нибудь вроде

Disallow: /*?*
А по поводу странных урлов. Они какой код отдают? 404? Такие могут появляться от подклеек, например.
Nokia x71 (https://x71.ru/) - хороший смартфон, и отзывы интересные
A
На сайте с 12.10.2011
Offline
213
#3
Vladimir #:
Хостер, который лезет в htaccess, это не хостер. Если вносит исправления, по незнанию, тем более...
1. редирект 301
2. проверять сайт на взлом

Редирект такой правильный? 

RewriteCond %{QUERY_STRING} !=""
RewriteRule ^(.*)$ /$1? [R=301,L]

Кто нибудь может подсказать? То есть все что с параметрами страницы направляем на такую же без параметров

A
На сайте с 12.10.2011
Offline
213
#4
Vladimir #:
Хостер, который лезет в htaccess, это не хостер. Если вносит исправления, по незнанию, тем более...
1. редирект 301
2. проверять сайт на взлом

Проверку на взлом с чего стоит начать? С поиском последний измененных файлов? Что-то еще?

A
На сайте с 12.10.2011
Offline
213
#5
Махмуд Аббас #:

Можешь в роботсе прописать что-нибудь вроде

А по поводу странных урлов. Они какой код отдают? 404? Такие могут появляться от подклеек, например.

Да 404.. 

Почитал про подклейки, в основном я так понял это делают при получении дропдоменов..

или злоумышленники тоже занимаются? чего они добиваются и что мне можно сделать?

МА
На сайте с 02.11.2018
Offline
182
#6
alexverem #:

Да 404.. 

Почитал про подклейки, в основном я так понял это делают при получении дропдоменов..

или злоумышленники тоже занимаются? чего они добиваются и что мне можно сделать?

Если у тебя всё с сайтом норм, никаких бяк на нём нет - то ничего не делать. Просто забей и не забивай себе голову.
Антоний Казанский
На сайте с 12.04.2007
Offline
743
#7
alexverem :
и индексе и те и те варианты, в выдаче правильный урл (без placeid). Видимо потому что есть ref=canonical.

Яндекс может игнорировать указание canonical и помещать в индекс неканоническую страницу.


alexverem :
И тем не менее, если сделать в яндексе поиск по placeid то таких страниц тоже навалом. Хотелось бы их исключить. Стоит ли или сам выкинет потом?

Судя по всему placeid - это get параметр для внутреннего поиска по сайту.

Настраивайте Clean-param, чтобы Яндекс игнорировали его и не учитывал доп. страницы с этим параметром, иначе они так и будут гулять в индексе туда-сюда.


alexverem :
2. Смотрю в вебмастере много странных урлов пояивлось, не подскажите это почему такие? Может это из-за ботов или еще чего нибудь?

site/undefined

site/NOCLICK_

site/огту

site/function.session-start

site/function.mysql-connect

Таких URL-ов быть вообще не должно. Это служебные имена и команды, которые в токенах URL-ов как правило не используются.

Здесь два варианта, либо на сайте кривая адресация в URL-ы лезут ошибки и управляющие команды, либо извне сайт на подобные запросы отвечает кодом 200 и отдаёт контент, который потом индексируется.

Начните со второго, если по адресу 

site/undefined

сайт отдаёт что-либо, кроме 404 страницы, то надо разбираться с настройкой 404 адресов.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
A
На сайте с 12.10.2011
Offline
213
#8
Антоний Казанский #:
сайт отдаёт что-либо, кроме 404 страницы, то надо разбираться с настройкой 404 адресов.

отдает 404, значит ничего не надо делать, ок спасибо

Антоний Казанский
На сайте с 12.04.2007
Offline
743
#9
alexverem #:
отдает 404, значит ничего не надо делать, ок спасибо

Если просто в переобходе, то ничего не надо делать. Но если эти адреса индексируются, то надо разбираться.

A
На сайте с 12.10.2011
Offline
213
#10
Антоний Казанский #:
Настраивайте Clean-param, чтобы Яндекс игнорировали его и не учитывал доп. страницы с этим параметром, иначе они так и будут гулять в индексе туда-сюда.

Если мне нужно для всех урл на сайте не учитывать placeid и monthid, то что в robots нужно поместить?

То есть для таких урл:

site/kitaj/mart/?placeid=kitaj&monthid=3

site/kitaj/?placeid=kitaj

site/spain/mart/?placeid= spain &monthid=3

site/spain /?placeid= spain

И так далее..

То есть пути могут быть разные, но где бы не встречался placeid или monthid их не нужно учитывать

Предположу:

User-agent: Yandex
Clean-param: placeid /*
Clean-param: monthid /*

Хотя возможно нужны звездочки для шаблонов для того чтобы учитывались вложенные пути?

User-agent: Yandex
Clean-param: placeid /*/
Clean-param: placeid /*/
*/
Clean-param: monthid /*/
Clean-param: monthid /*/
*/

В яндекс примерах просто не нашел аналогичного случая (yandex.ru/support/webmaster/robot-workings/clean-param.html).. 

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий