Стоит ли исключать из индекса страницы с символом #?

Р
На сайте с 07.02.2013
Offline
178
518

Приветствую.

Две страницы, вернее, страница одна, но на ней есть навигация по странице:

site.ru/page/post77

site.ru/page/post77#glava

Стоит ли в robots.txt прописать запрет на индексацию таких страниц?

skapunker
На сайте с 15.01.2014
Offline
224
#1

это якорь

очень глупо полгать что поисковики не знают об их существовании

Mik Foxi
На сайте с 02.03.2011
Offline
1217
#2

Якоря не индексируются.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
богоносец
На сайте с 30.01.2007
Offline
774
#3
foxi:
Якоря не индексируются.

http://www.google.com/search?q=site:dom.gosuslugi.ru+organizationView

---------- Добавлено 01.03.2020 в 15:38 ----------

рецидивист:

site.ru/page/post77
site.ru/page/post77#glava
Стоит ли в robots.txt прописать запрет на индексацию таких страниц?

А как вы это собирались делать?

Mik Foxi
На сайте с 02.03.2011
Offline
1217
#4

богоносец, это не якорь, это спец настройка для индексации аяксовых страниц. Там по сути настройка клоакинга.

богоносец
На сайте с 30.01.2007
Offline
774
#5

Урлы с #... кажется.

foxi:
Якоря не индексируются.

Чуть более корректный ответ: якоря по HTTP не передаются, т.е. бот просто не сможет сделать GET-запроса с #

Mik Foxi
На сайте с 02.03.2011
Offline
1217
#6

богоносец, якорь # и это #! (с восклицательным знаком) это разное.

В вашем примере это легальный клоакинг. Гугл видит урл вида:

/?_escaped_fragment_=/organizationView/23bca6d7-9bc9-45d1-a519-f5e4895d5f58

а в выдаче его показывает в виде:

/#!/organizationView/23bca6d7-9bc9-45d1-a519-f5e4895d5f58

вы это в кеше можете увидеть: https://webcache.googleusercontent.com/search?q=cache:eXvh6JN0MWUJ:https://dom.gosuslugi.ru/%23!/organizationView/23bca6d7-9bc9-45d1-a519-f5e4895d5f58+&cd=5&hl=ru&ct=clnk&gl=ru

Р
На сайте с 07.02.2013
Offline
178
#7
богоносец:
http://www.google.com/search?q=site:dom.gosuslugi.ru+organizationView

---------- Добавлено 01.03.2020 в 15:38 ----------


А как вы это собирались делать?

Вот так:

Disallow: *\#*
богоносец
На сайте с 30.01.2007
Offline
774
#8

Ну и чё получицца?

Если надо прикрыть #!

то

Disallow: *_escaped_fragment_

grot86
На сайте с 07.11.2007
Offline
168
#9

В случае который привел ТС закрывать не нужно, т.к. уже написали выше это якорь, по сути навигация по странице. Гугл такое не индексирует, то что привели в качестве примера другой случай и там кстати открываются на странице данные по компаниям такое как-раз можно и возможно даже нужно индексировать в зависимости от задач которые стоят.

Мой поставщик мобильных прокси: https://clck.ru/38ub3L

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий