Закрытые разделы в robots.txt активно участвуют в поиске

12
S
На сайте с 04.02.2007
Offline
318
svv
620

На сайте есть варианты сортировки по размерам и цветам товаров. Скрипт, выводящий результат на сайте, закрыт от поисковиков в файле robots.txt В последнее время обнаружил, что результат работы данного скрипта активно участвует в поиске и даже приносит существенный траффик. По сути, это копия основного раздела, но выводит лишь выбранные товары. К примеру: есть раздел "Рубашки для мальчиков", а результатом работы данного скрипта можно выбрать "Сиреневые рубашки для мальчиков 22 размера". Беда в том, что сделать даже краткое описание для таких результатов не получится.

Как посоветуете поступить?

а) открыть его в robots.txt и добавить классический H1 в название категории и разнообразить TITLE?

б) закрыть так, чтобы Яндекс не видел?

Стоит ли задавать вопрос сотрудникам Яндекса?

[Удален]
#1

Сортировку и пагинацию закрыть через каноникал, а результаты фильтров отражать в тайтле и h1

iLeg0
На сайте с 12.08.2010
Offline
59
#2
dmitrii-pdk:
Сортировку и пагинацию закрыть через каноникал, а результаты фильтров отражать в тайтле и h1

Не давайте вредных советов.

Пагинацию не стоит закрывать через canonical:

Оптимальный вариант - next/prev

Или добавляйте на страницах пагинации метатег, запрещающий индексирование контента:

<meta name="robots" content="noindex, follow" />

Сортировку как раз лучше через robots закрывать, чтобы не тратить лимит трафика ПС сайта (чтобы прочитать canonical - роботу нужно скачать страницу, если страница закрыта через robots - трафик не расходуется.

[Удален]
#3
svv:
Скрипт, выводящий результат на сайте, закрыт от поисковиков в файле robots.txt

Два варианта:

1. Он недавно закрыт;

2. Он хреново закрыт.

S
На сайте с 04.02.2007
Offline
318
svv
#4
Miha Kuzmin (KMY):
Два варианта:

1. Он недавно закрыт;
2. Он хреново закрыт.

1. Закрыт с рождения раздела, т.е. более года назад.

2. ЮРЛ имеет вид:

site.ru/poisk.php?param1=ХХХ&param2=ННН

в РОБОТСЕ имеются записи:


User-Agent: *
Disallow: /poisk.php

И что думаете насчет того, чтобы открыть его в роботсе?

По сути от разделов "Сиреневые рубашки для мальчиков" и "Рубашки для мальчиков 22 размера" такой отличается отсутствием ЧПУ, на текущий момент отсутствием H1 и, естесственно, нет краткого описания. TITLE есть, но он "Сиреневые рубашки для мальчиков 22 размера".

V
На сайте с 24.05.2016
Offline
4
#5
iLeg0:
Не давайте вредных советов.

Пагинацию не стоит закрывать через canonical:
Оптимальный вариант - next/prev
Или добавляйте на страницах пагинации метатег, запрещающий индексирование контента:
<meta name="robots" content="noindex, follow" />

Сортировку как раз лучше через robots закрывать, чтобы не тратить лимит трафика ПС сайта (чтобы прочитать canonical - роботу нужно скачать страницу, если страница закрыта через robots - трафик не расходуется.

Какие еще будут мнения?

1) закрывать noindex мне не нравится идея, т.к. ПС может посчитать что там запрещенный контент. поэтому больше склоняюсь к каноникал варианту

2) о каком лимите трафика ПС идет речь? может я чего не знаю?

B
На сайте с 08.09.2013
Offline
97
bna
#6
svv:

User-Agent: *
Disallow: /poisk.php

User-Agent: *

Disallow: /*poisk*

Вращаюсь вокруг солнца
[Удален]
#7
bna:
User-Agent: *
Disallow: /*poisk*

Это еще нафига? роботс то он говорит правильный. Только что-то тут, как всегда, не так)

S
На сайте с 04.02.2007
Offline
318
svv
#8
Miha Kuzmin (KMY):
Это еще нафига? роботс то он говорит правильный. Только что-то тут, как всегда, не так)

Самое забавное, что на том же шаблоне был сделан сайт для региона с ограниченным количеством товаров. Так вот там данный скрипт в поиск не попал. Существенным отличием роботсов в этих двух сайтов является то, что в первом в конце имеются дополнительные указания для поисковиков с параметром Crawl-delay, т.к. были перегрузки сервера и хостер ругался.

[Удален]
#9

Без урла не катит.

[Удален]
#10
svv:
Скрипт, выводящий результат на сайте, закрыт от поисковиков в файле robots.txt

а сами страницы закрыты? :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий