Файл robots.txt и знак #

M1
На сайте с 09.04.2011
Offline
22
826

Добрый день!

Подскажите пожалуйста, у меня на сайте есть множество URL вида

Site.ru/man#ctl_page=2&ctl_filter=price,2700,3|price,14750,4&model=

общим правилом является наличие "ctl_page"

Прописываю в роботс указание

Disallow: /*ctl_page

но яндекс в вебмастере выдает, что страницы разрешены.

Я так понимаю, что это из-за знака # , без него все работает, но не совсем могу понять логику, ведь он находится не в robots.txt, где он будет восприниматься как пометка комментария, а в URL.

Хотелось бы понять причину данной ситуации, хотя подозреваю, что это скорее вопрос к программерам.

Заранее спасибо

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#1

Якорь # для браузеров, а не для роботов.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
M1
На сайте с 09.04.2011
Offline
22
#2

Уважаемый LEOnidUKG, данный якорь блокирует для понимания робота все, что находится после него?

Я пробовал указывать в переменной различные части URL которые идут после знака # но блокировать доступ робота к URL по ним не возможно, если указываю часть URL находящуюся до знака # Яндекс тут же все понимает и пишет, что доступ к URL запрещен.

Или Вы имеете ввиду, что все что после # относится исключительно к браузеру и не видно для поисковика?

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#3
Или Вы имеете ввиду, что все что после # относится исключительно к браузеру и не видно для поисковика?

По последним данным гугл очень хорошо их кушает. Раньше был только для браузера, но сейчас, что уж там, если гугл хром бегает по компьютеру и собирает данные.

Я думаю ТС, напишите лучше в Яндекс, там вам ответят, что сделать.

Arsh
На сайте с 21.03.2007
Offline
199
#4
LEOnidUKG:
По последним данным гугл очень хорошо их кушает.

Не кушает. Должно быть то ли #!, то ли !#, чтоб Гугл зажевал.

богоносец
На сайте с 30.01.2007
Offline
774
#5
LEOnidUKG:
По последним данным гугл очень хорошо их кушает.

Вот кэш ссылки на #якорь без нофоллоу.

Ищем с &filter=0

LEOnidUKG:
напишите лучше в Яндекс, там вам ответят

Ответ от 11.2010

Madman1987:
пробовал указывать в переменной различные части URL которые идут после знака # но блокировать доступ робота к URL по ним не возможно

У вашего подопытного в индексе разных ПС есть страницы с такими урлами#c-якорями?

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#6

богоносец, ну значит на блогах врутЬ. :)

богоносец
На сайте с 30.01.2007
Offline
774
#7

Не вруть, а не договаривають:

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=174993

/ru/forum/649044

Но сцылки на #якоря могут появляться в крошках и под сниппетами богоизбранных. При этом в индексе остаётся одна страница...

А вот надо проверить:

#! редко используется в существующих хэш-фрагментах, однако этот маркер не запрещается спецификацией URL ...

Типа так /ru/news/11220

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий