Почему запрещают индексировать страницы?

ifx
На сайте с 13.06.2016
Offline
32
ifx
1109

Добрый день. Очень интересует вопрос, почему некоторые сайты (!Занимающие лидирующие места!) ставят следующий тег

<meta name="robots" content="noindex,follow,noodp,noydir" />

на страницах со второй до последней (т.е на первой его нет, а на 2.3.4.5 и т.д он есть).

Для чего блокируют индексацию этих страниц? Можете объяснить?

Maxim-KL
На сайте с 26.01.2011
Offline
350
#1
ifx:
Для чего блокируют индексацию этих страниц? Можете объяснить?

А зачем они в индексе вы не скажете?

Может на них есть уникальный контент полезный для ПС?

Мои услуги по прогонам: ✅Качественный ручной статейный прогон по базе сайтов с ИКС10+ (maximgroups.net/progon-statejnyj) ✅Прогон Максимум - Все включено, 300+ качественных ссылок (maximgroups.net/progon-maksimum)
ifx
На сайте с 13.06.2016
Offline
32
ifx
#2
Maxim-KL:
А зачем они в индексе вы не скажете?
Может на них есть уникальный контент полезный для ПС?

Главное тогда чтоб все страницы успели попасть в индекс через первую.

Значит стоит закрыть.

А как посоветуете закрыть, через роботс Disallow: */page/* будет ли тот же эффект как и от тега в первом посте?

Maxim-KL
На сайте с 26.01.2011
Offline
350
#3

ifx, Закрывать как вам удобнее, разницы нет. Главное что бы они были закрыты.

angel57
На сайте с 01.04.2014
Offline
154
#4
ifx:


А как посоветуете закрыть, через роботс Disallow: */page/* будет ли тот же эффект как и от тега в первом посте?

я где-то читал что через тег robots более правильно, ну а вообще делайте как нравится, обычно всем проще резе robots.txt

ifx:
Главное тогда чтоб все страницы успели попасть в индекс через первую.

вы же понимаете, что если страницы попали в индекс и потом были закрыты от индексации, то они из индекса выпадают

---------- Добавлено 23.08.2016 в 04:08 ----------

ifx:

на страницах со второй до последней (т.е на первой его нет, а на 2.3.4.5 и т.д он есть).

имеется в виду что страница категории товаров разбита на несколько и первая индексируется, а "нечеткие дубли" (страницы пагинации) закрыты от индексации, так?

ifx
На сайте с 13.06.2016
Offline
32
ifx
#5
angel57:

имеется в виду что страница категории товаров разбита на несколько и первая индексируется, а "нечеткие дубли" (страницы пагинации) закрыты от индексации, так?

Сайт информационный и да страницы пагинации закрыты

Marmeladov
На сайте с 19.05.2011
Offline
60
#6
ifx:
на страницах со второй до последней (т.е на первой его нет, а на 2.3.4.5 и т.д он есть).

Для чего блокируют индексацию этих страниц? Можете объяснить?

Речь идёт про страницы пагинации? Если да, то закрывают для того, чтобы не плодить частичные дубли. В то же время на 2-й и последующих страницах есть ссылки на карточки товара - их нужно проиндексировать.

- Если страницы пагинации закрыты в роботс.ткст, то пойдет ли по ним робот и сможет проиндексировать карточки? Есть ли возможность их вообще закрыть, не закрыв ничего лишнего, в плане образования урла?

- Если страницы пагинации закрывать после индексации карточек, то что потом делать при массовом добавлении новых карточек?

angel57
На сайте с 01.04.2014
Offline
154
#7
Marmeladov:


Есть ли возможность их вообще закрыть, не закрыв ничего лишнего, в плане образования урла?

использовать символ доллара

Disallow: /konfety
или
Disallow: /konfety*
- также запрещает индексировать страницу /konfety/shokolad

Disallow: /konfety$
- запрещает индексировать только страницу /konfety
Marmeladov:


- Если страницы пагинации закрывать после индексации карточек, то что потом делать при массовом добавлении новых карточек?

использовать символ доллара) либо <meta name="robots" content="noindex, follow"/> на страницах пагинации, робот тогда страницу пагинации не будет индексировать, а на карточки товаров или другие ссылки которые есть на странице перейдет и проиндексирует

mendel
На сайте с 06.03.2008
Offline
232
#8
angel57:
использовать символ доллара) либо <meta name="robots" content="noindex, follow"/> на страницах пагинации, робот тогда страницу пагинации не будет индексировать, а на карточки товаров или другие ссылки которые есть на странице перейдет и проиндексирует

каноникал же

Шутку любишь над Фомой, так люби и над собой. (с) народ. Бесплатные списки читабельных(!) свободных доменов (http://burzhu.net/showthread.php?t=2976) (5L.com) Сайты, All inclusive. 5* (/ru/forum/962215)
angel57
На сайте с 01.04.2014
Offline
154
#9
mendel:
каноникал же

я бы и каноникал и закрытие ненужных страниц от индексации использовал, так вернее))

поисковики бывает на данные теги "забивают", надо смотреть что в индекс попадает.

была фишка этой зимой - заметил что по https копия чужого сайта образовалась (из-за косячного хостера), прописал в каноникалах что везде должно быть http без s и все равно левая копия из индекса не выпала. так что после каждого апа желательно проверять, что новое появилось в индексе

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий