Запрет в robots.txt

12
JuniorVov
На сайте с 20.06.2017
Offline
69
#11
aleksandrbol:
у меня помимо каноникла там ещё и <meta name="robots" content="noindex, follow" />

Такие мета теги, как мета роботс ноиндекс вместе с кононикалом так же лучше не использовать вместе, ведь они противоречат друг другу.

У вас есть грубо говоря 3 варианта

1) Запретить индексацию через файл роботс и убрать каноникал.

+ <meta name="robots" content="noindex, follow" />, уже будет лишним и будет противоречить записи в роботсе так как указано что по ссылкам краулеру переходить можно.

2) Либо же просто убрать каноникал так как у вас странички уже закрыты в "мета роботс" и этого будет достаточно

3) Либо же не закрывать от индексации, а оставить только каноникал

Вот здесь можно почитать почему нежелательно смешивать сигналы "каноникал" и "мета робост"

Александр
На сайте с 17.07.2009
Offline
371
#12

JuniorVov, спасибо! Буду разбираться.

Осталось разобраться с пагинацией. Как вы считаете, на страницах пагинации должен быть каноникал на первую страницу, или у каждой страницы пагинации должен быть свой урл каноникал.

К примеру site.ru/blog?page=3 должна иметь canonical = "site.ru/blog" или site.ru/blog?page=3 должна иметь canonical = "site.ru/blog?page=3"

Спасибо.

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
богоносец
На сайте с 30.01.2007
Offline
763
#13

Да прочитайте вы хелпы про костыли rel=canonical — это какую страницу из похожих/дублей надо показывать в выдаче (страницы пагинации — не дубли, вообще говоря, но содержат сцылки, т.е. возможно влияние на индексацию). Индексацией должен управлять другой набор... хлама, не rel=canonical

JuniorVov:
он прийдет туда вспомнит что в роботсе ему говорили не индексируй и на этом его путешествие на этой странице закончиться, но если он увидет там каноникал то начнет сомневаться, мол если её не нужно индексировать то почему здесь важная для меня информация в виде каноникал.

Напишите олгоритмы упомянутых вами терминов:

  • вспомнит
  • увидет
  • сомневаться

Если вам удастся написать код этой человечины — озолотитесь. Или убьют по канону...

JuniorVov
На сайте с 20.06.2017
Offline
69
#14
aleksandrbol:
К примеру site.ru/blog?page=3 должна иметь canonical = "site.ru/blog"

Я так делаю.

богоносец, вы грамоте учите или SEO занимаетесь?

богоносец:
Индексацией должен управлять другой набор... хлама, не rel=canonical

Какой например? А то сказал что "ребята вы тут херней занимаетесь, а я знаю как правильно но нескажу, сами почитайте" так что, будь те добры поделитесь опытом и расскажите как надо, а то пока, от вас толку как от прогона по белым каталогам за 100рублей)

богоносец
На сайте с 30.01.2007
Offline
763
#15

Как надо?

Надо подсовывать боту (и в коде, и в сайтмапе) лишь те сцылки, которые имеет смысл индексить.

Количество обращений к сайту ограничено...

т.е. если бот скачал страницу, обнаружил там meta-robots-noindex или rel=canonical-другой-урл

это фактически означает замедление индексации того, что надо индексить.

Когда же хотят на страницах пагинации указать rel=canonical-категория|первая-страница

то:

это же не обязательно дубль, тексты могут отличаться...

Если кто-то хочет выкинуть из индекса страницы пагинации, то надо подумать — есть ли вообще сцылки на все страницы сайта (с других страниц), это может влиять на их индексацию.

Александр
На сайте с 17.07.2009
Offline
371
#16
богоносец:
т.е. если бот скачал страницу, обнаружил там meta-robots-noindex или rel=canonical-другой-урл
это фактически означает замедление индексации того, что надо индексить.

Есть такое.

богоносец:
Когда же хотят на страницах пагинации указать rel=canonical-категория|первая-страница
то:
это же не обязательно дубль, тексты могут отличаться...

Практически всегда отличаются, но тогда нужно ли их вообще индексировать. Тут вот я задумался....

богоносец:
Если кто-то хочет выкинуть из индекса страницы пагинации, то надо подумать — есть ли вообще сцылки на все страницы сайта (с других страниц), это может влиять на их индексацию.

Зачем в индексе страницы пагинации? Можно же прописать noindex follow Ссылки на них есть как минимум с sitemap.xml

богоносец
На сайте с 30.01.2007
Offline
763
#17

В sitemap.xml не ссылки, а упоминание урлов/дат/... вес через них не насчитывается.

А хоть какие-то сцылки (<a href="/page">) могут быть учтены в расчете веса страницы /page (что на их индексацию может влиять).

Поэтому, если у вас нет в индексе пагинации, сделайте HTML-карту сайта для людей (и пр. ботов).

А так да, в выдаче страницы пагинации не нужны... но их не так уж и много.

Александр
На сайте с 17.07.2009
Offline
371
#18
богоносец:
В sitemap.xml не ссылки, а упоминание урлов/дат/... вес через них не насчитывается.

А хоть какие-то сцылки (<a href="/page">) могут быть учтены в расчете веса страницы /page (что на их индексацию может влиять).
Поэтому, если у вас нет в индексе пагинации, сделайте HTML-карту сайта для людей (и пр. ботов).
А так да, в выдаче страницы пагинации не нужны... но их не так уж и много.

Тут скорей всего HTML-карта нужна для ботов, люди по ним давно уже не ходят.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий