Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Борьба с циклическими ссылками

A
На сайте с 26.09.2016
Offline
2
Arsenyhouston
1022

Здравствуйте, форумчане!

Так уж получилось что я затеял задачу убрать циклические ссылки на сайте.

Сайт на движке Битрикс http://relle.ru

Вычитал где-то про чудодейственную силу добавления символов #! в конце урла ссылки, которая считается циклической.

То есть, на главной странице логотип имеет ссылку http://relle.ru/#! ну, думаю все меня поняли.

Добрый Сайтрепорт после этого внедрения стал показывать что циклических ссылок 0 и я обрадовался.

Но что в итоге получил:

http://joxi.ru/eAO181zF4YJp4m

Долго думая, дубли это или нет, я все-таки пришел к выводу что это дубли. Screaming Frog тоже показывает будто это отдельные страницы, он их отдельно выдает в результатах анализа.

Рунет пестрит сообщениями что в индекс вообще не может попадать страница с хешем, что все, что после хеша - отбрасывается. Но как я понял, это не про мой хеш..

Вопроса 2:

1) Как теперь выкинуть их из индекса? В роботсе хеш не закроешь, надо закрывать тогда и оригинал страницы тоже и потом снова индексировать. Или есть другие варианты?

2) Как же все-таки закрыться от циклических ссылок? Может поставить в них не #! а какой-нибудь javascript void?

Заранее прошу прощения если пишу глупости.

A
На сайте с 26.09.2016
Offline
2
Arsenyhouston
#1

UP:

Покопался немного в коде и убрал циклические руками для каждого блока.

Вопрос как выкинуть из индекса то что уже залетело с символами "#!" - остается открытым.

obius
На сайте с 19.08.2015
Offline
56
obius
#2
Arsenyhouston:
UP:
Покопался немного в коде и убрал циклические руками для каждого блока.

Вопрос как выкинуть из индекса то что уже залетело с символами "#!" - остается открытым.

Добавьте в robots.txt 


Disallow: /*_escaped_fragment_=

+ добавить 301 редиректы с http://site.com/pagename/#! на http://site.com/pagename/

Оригинал:

Google Webmaster:

Question: What if my site has some hash fragment URLs that should not be crawled?

When your site adopts the AJAX crawling scheme, Googlebot will process your hash fragment URLs accordingly. However, if you have hash fragment URLs that should not be crawled, we suggest that you add a disallow directive to your robots.txt file. You can use a convention in your hash fragments that should not be crawled and then exclude all URLs that match it in your robots.txt file. Suppose all your non-indexable states are of the form #!DONOTCRAWLmyfragment (for example http://www.example.com/ajax.html#!DONOTCRAWLkey=value). Then you can prevent Googlebot from crawling these pages by adding the following to your robots.txt:

Disallow: /*_escaped_fragment_=DONOTCRAWL

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий