Есть разница как закрыта страница от индексации?

12
X
На сайте с 04.12.2018
Offline
279
808

 На сайтах многих интернет-магазинов существуют страницы фильтров, закрытые от индексации поисковиками (к примеру "узкие + высокие + тип товара + коричневые"). У одних ТОПовых сайтов эти страницы закрыты в robots.txt по фрагменту URL, у других с помощью META NOINDEX,FOLLOW. Ссылок на эти страницы не вижу явных (переход скриптом в результате выбора фильтра), но поисковик о них узнает когда человек зашел - видит метрикой.  В результате в вебмастере Яндекса они у одних светятся в "закрыто robots", у других "запрещено элементом noindex".

Для SEO есть разница?

PS Лично мне больше второй вариант нравится, т.к. в именно этой сортировке может оказаться какой то редкий товар и тут по ссылке на него поисковик перейдет.

Удобный съем позиций (http://allpositions.ru/redirect/58277)
Бахин
На сайте с 26.05.2017
Offline
74
#1
Xubart :

На сайтах многих интернет-магазинов существуют страницы фильтров, закрытые от индексации поисковиками (к примеру "узкие + высокие + тип товара + коричневые"). У одних ТОПовых сайтов эти страницы закрыты в robots.txt по фрагменту URL, у других с помощью META NOINDEX,FOLLOW. Ссылок на эти страницы не вижу явных (переход скриптом в результате выбора фильтра), но поисковик о них узнает когда человек зашел - видит метрикой.  В результате в вебмастере Яндекса они у одних светятся в "закрыто robots", у других "запрещено элементом noindex".

Для SEO есть разница?

PS Лично мне больше второй вариант нравится, т.к. в именно этой сортировке может оказаться какой то редкий товар и тут по ссылке на него поисковик перейдет.

под гугл лучше использовать X-Robots-Tag "noindex, follow", он недолюбливает robots.txt... Вообще  надежней X-Robots-Tag что под гугл, что под яндекс

Виктор Петров
На сайте с 05.01.2020
Offline
240
#2
Фильтры лучше закрывать в robots. 
X
На сайте с 04.12.2018
Offline
279
#3
Виктор Петров #:
Фильтры лучше закрывать в robots. 

Почему?

Антоний Казанский
На сайте с 12.04.2007
Online
614
#4
В результате в вебмастере Яндекса они у одних светятся в "закрыто robots", у других "запрещено элементом noindex".

Яндекс.Вебмастер информирует вас о том, в результате каких инструкций страница была запрещена для индексации.

Это всё равно что ехать в месту назначения по параллельным дорогам. Кто-то так, кто-то так. 


Xubart :
PS Лично мне больше второй вариант нравится, т.к. в именно этой сортировке может оказаться какой то редкий товар и тут по ссылке на него поисковик перейдет.

Будет сильно надо, поисковик всё равно перейдет, как ходит и учитывает nofollow ссылки, как индексирует главную и при явном корневом запрете в robots-е.

Здесь вопрос не в предпочтительности для SEO, вопрос в применительной практике. Групповое назначение noindex в мета тег гораздо удобнее реализовывать через CRM, нежели прописывать сотни, тысячи, а иногда и десятки тысяч адресов в robots которые в определённый момент времени необходимо запретить для индексации, а потом разрешить. 

Для крупных интернет магазинов это зачастую актуально. Но это что касается товаров, служебные разделы и адреса необходимо закрывать в robots-е.

И насчёт фильтров - есть фильтры как перечни, а есть целевые посадочные фильтры как рабочий кластер. Поэтому фильтр фильтру рознь.

√ SEO продвижение https://akazansky.ru - поиск новых точек роста, экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. © Обстоятельно, ответственно, доступно.
Антоний Казанский
На сайте с 12.04.2007
Online
614
#5
Xubart #:
Почему?

Потому что фильтры обычно реализуются масками ?param=чего-нибудь.

Соот-но, в robots-e по данному признаку удобно закрывать все подобные перечни, если это нужно.

Однако всё зависит от конкретной задачи. В целом, robots - это про правила переобхода сайта,  мета - про регламент отдельного документа. 

Виктор Петров
На сайте с 05.01.2020
Offline
240
#6
Xubart #:

Почему?

Потому что есть большая разница между сканированием и индексацией. Если закрывать в роботс - робот не будет сканировать тонны мусора. Тегом вы запрещаете индексацию, не сканирование. А урлов фильтратор генерит тонны. 

Ну, и это намного проще и удобнее, чем ковырять отдельно каждую страницу. 

X
На сайте с 04.12.2018
Offline
279
#7
Антоний Казанский #: И насчёт фильтров - есть фильтры как перечни, а есть целевые посадочные фильтры как рабочий кластер. Поэтому фильтр фильтру рознь.

Именно этим мне ограничение через МЕТА и нравится - стоит галочка "не показывать" в админке - есть запрет, не стоит - welcome

Антоний Казанский #:

Потому что фильтры обычно реализуются масками ?param=чего-нибудь.

Не всегда. У одного очень крутого магазина реализован фрагмент "-noind" в урлах страниц, которые он не хочет показывать и этот фрагмент закрыт.

Виктор Петров #:

Потому что есть большая разница между сканированием и индексацией. Если закрывать в роботс - робот не будет сканировать тонны мусора. Тегом вы запрещаете индексацию, не сканирование. А урлов фильтратор генерит тонны.

Я верно понимаю, что если процесс создания фильтрации бесконтролен, то лучше роботс? 
Антоний Казанский
На сайте с 12.04.2007
Online
614
#8
Xubart #:
Именно этим мне ограничение через МЕТА и нравится - стоит галочка "не показывать" в админке - есть запрет, не стоит - welcome

И не только вам, но и программисту, который может получать ТЗ о запрете индексации множества товаров с разными признаками и выборочным положением на сайте. В robots же придётся вносить целевые адреса коих может быть бесконечно много и это становится весьма ощутимой проблемой. 

Антоний Казанский
На сайте с 12.04.2007
Online
614
#9
Xubart #:
Не всегда. У одного очень крутого магазина реализован фрагмент "-noind" в урлах страниц, которые он не хочет показывать и этот фрагмент закрыт.

Очень может быть, это на усмотрение того, кто им управляет. Возможно именно так им удобнеe.

Свободу творчества и рабочих подходов никто не запрещал.


Xubart #:
Я верно понимаю, что если процесс создания фильтрации бесконтролен, то лучше роботс? 

Наборные пользовательские фильтры, результаты поиска, utm и прочие рекламные метки конечно лучше (и нужно) отсекать на уровне robots-а. Виктор правильно сказал - даже не нужно, чтобы робот по ним ходил и тратил краулинговый бюджет. 

Поэтому задача оптимизатора лежит в плоскости инструкций для robots и в использовании meta для целевых страниц.

богоносец
На сайте с 30.01.2007
Offline
753
#10
Xubart :

видит метрикой.  В результате в вебмастере Яндекса они у одних светятся в "закрыто robots", у других "запрещено элементом noindex".

Для SEO есть разница?

Для процесса индексации некоторая разница есть - чтобы "элемент noindex" заметить - скачать страницу надо.

А чтобы страница, закрытая в роботсе, появилась в выдаче - может быть достаточно сцылок на неё, но с сервака она может и не скачиваться.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий