Страницы раздела каталога и поведение Яндекса

12
M1
На сайте с 11.10.2018
Offline
0
513

Всем здравствуйте!

Хотел бы описать проблему, видение своего решения, и, принять чьи-либо советы, т.к. эта проблема для многих может быть актуальна

Проблема такова, что, на сайте есть каталог товаров, на каждой странице по 12 карточек, на второй странице, соответственно 24 и тд

Они фиксируются как урлы, пример:

/catalog/aksessuary-instrumenty/instrumenty?items_per_page=24

/catalog/aksessuary-instrumenty/instrumenty?items_per_page=36

Подобных ссылок большое количество (300+), яндекс вебмастер их постоянно обходит, добавляет, потом удаляет, и так происходит циклически бесконечно (Просто в разный промежуток времени)

Мой путь решения: перекрыть все подобные ссылки в robots.txt , что они никаким образом в вебмастере не фигурировали вообще

В чем сомнения: при использовании в яндексе "site:" ссылки, указанной как пример выше, откликались ссылки каталога, но не сама полная ссылка

В чем вопрос (хотелось бы узнать):

1) Критическая ли будет ситуация для поискового трафика, при перекрытии подобных ссылок?

2) Возможные адекватные пути решения, дополнительные, альтернативные?

Semobers
На сайте с 27.08.2018
Offline
23
#1

Закрывать в robots не вариант, лучше разрешить сканировать сайт, но не добавлять в индекс лишние страницы.

Есть два варианта решения вашей задачи:

1) Поставить canonical на страницы сортировок

2) или поставить тег <meta name="robots" content="noindex, follow" />

(в любом из случаев нужно будет убрать директиву из robots.txt).

[Удален]
#2

Clean-param в роботс, и все.

M1
На сайте с 11.10.2018
Offline
0
#3
Miha Kuzmin (KMY):
Clean-param в роботс, и все.

А техническое различие есть между перекрытием ссылки типа

Disallow: /catalog/aksessuary-instrumenty/instrumenty?items_per_page=24

И так 300-500 ссылок?

И существуют ли какие-либо нагрузки на robots.txt со стороны яндекса и вебмастера?

Ведь, по сути, что так поисковой робот доберется до прямой ссылки и удалит, что так найдет этот параметр и удалит

[Удален]
#4

Mihail_1995, слова вроде в посте все понятные, но смысла я в них не уловил. Ну кроме зачота про "нагрузку на robots.txt". Гет-запрос на роботс ну максимум несколько раз в сутки (а обычно 1 или 0) - это вам не хухры мухры, вдруг сервер упадет, или яндекс.

M1
На сайте с 11.10.2018
Offline
0
#5
Miha Kuzmin (KMY):
Mihail_1995, слова вроде в посте все понятные, но смысла я в них не уловил. Ну кроме зачота про "нагрузку на robots.txt". Гет-запрос на роботс ну максимум несколько раз в сутки (а обычно 1 или 0) - это вам не хухры мухры, вдруг сервер упадет, или яндекс.

Вы предложили способ clean-param

Мой способ: перекрыть ссылку

Мне видится алгоритм такой: робот будет перебирать каждую ссылку, сравнивать с параметром - удалять (при параметре clean-param)

Алгоритм 2: при указании прямой ссылки робот блочит ссылку сразу же, что значительно экономит время и нагрузку (возможно экономит, это алгоритм при Disallow: /ссылка)

И запрос уж robots.txt явно не нагружающий критически сервера, чтобы они падали, не утрируйте настолько

[Удален]
#6

Вы научитесь выражать мысли не раком.

Mihail_1995:
робот блочит ссылку сразу же

Чего делает?

Mihail_1995:
Мой способ: перекрыть ссылку

Чего сделать?

M1
На сайте с 11.10.2018
Offline
0
#7
Miha Kuzmin (KMY):
Вы научитесь выражать мысли не раком.

Вопрос тогда в вашем понимании, а не в моем выражении мыслей

Miha Kuzmin (KMY):

Чего делает?
Чего сделать?

Под "блочить" подразумевалось "перекрыть от индексации"

[Удален]
#8
Mihail_1995:
Под "блочить" подразумевалось "перекрыть от индексации"

А что такое перекрыть от индексации? Вы точно не умеете выражать мысли. Спрятать ссылку, выдавать какой-то код, отличный от 200, или еще чего?

S1
На сайте с 02.10.2016
Offline
138
#9
Mihail_1995:
есть каталог товаров, на каждой странице по 12 карточек, на второй странице, соответственно 24 и тд

Если на каждой странице 12 карточек, то на второй странице соответственно тоже должно быть 12 карточек, а не 24 ))

Постоянно обмениваюсь ссылками с качественными сайтами по теме электроника, электронные компоненты, и тд.
M1
На сайте с 11.10.2018
Offline
0
#10
sanek1991:
Если на каждой странице 12 карточек, то на второй странице соответственно тоже должно быть 12 карточек, а не 24 ))

Опечатка, но, суть и так понятна же)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий