В индекс попадают результаты фильтра

12
M
На сайте с 15.03.2012
Offline
128
1374

приветствую!

в яндекс.вебмастере среди загруженных страниц наблюдаю страницы с результатами фильтра. На такие урлы можно попасть только засабмитив форму. Откуда яндекс их может брать?

angel57
На сайте с 01.04.2014
Offline
154
#1

бывает такое. может сслыка где-то есть. надо делать ноуиндекс)

B3
На сайте с 01.04.2010
Offline
82
#2

Может Яндекс.Метрика отправлять страницы на индексацию.

Закройте раздел поиска в robots.txt

Но чем вам мешают эти страницы в индексе. Они же могут собирать НЧ трафик.

M
На сайте с 15.03.2012
Offline
128
#3
angel57:
бывает такое. может сслыка где-то есть. надо делать ноуиндекс)

если бы это были немногочисленные случаи, но это регулярно происходит.

Byblick32:
Может Яндекс.Метрика отправлять страницы на индексацию.

это запрещено в настройках кода счетчика

Byblick32:
Закройте раздел поиска в robots.txt
Но чем вам мешают эти страницы в индексе. Они же могут собирать НЧ трафик.

Они не попадают в выдачу, мне это не нужно. А мешают тем, что захламляют. В индексе и без того слишком много страниц, не хотелось бы, чтобы робот тратил силы на обход ненужных.

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#4

Узнавать о них Яндекс может многими способами. Например, если страницу посетил пользователь с Яндекс.Браузером.

Если они закрыты в robots.txt, то они не должны загружаться. Проверьте в Яндекс.Вебмастере в разделе "Анализ robots.txt" какую-нибудь страницу фильтра.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
M
На сайте с 15.03.2012
Offline
128
#5
Ingref:
Узнавать о них Яндекс может многими способами. Например, если страницу посетил пользователь с Яндекс.Браузером.

интересно, не знал.

Ingref:
Если они закрыты в robots.txt, то они не должны загружаться.

они не совсем закрыты, я использую директиву clean-param в роботсе + тег canonical.

[Удален]
#6

Их однозначно нужно убирать и закрывать, только что проводил аудит, где после добавления развернутых модулей фильтров на сайт - он поплыл...

ПС узнают о них из любых источников, которыми владеют - это давно не удивительно (метрики, бары, источники переходов... на самом деле их намного больше).

Выход из ситуации не сложный - оставить только голую структуру сайта, без левых страниц в индексе. Т.к. они на корню путают релевантность.

И чем больше их съедает поиск - тем со временем ситуация всё хуже и хуже. А при большом количество страниц и запросов - нереально отследить смену релевантности пар страниц \ запросов. Начинается всё, как правило с НЧ и СЧ...

Если страницы фильтров не уникализированы контентом \ заголовками - запрещать к индексации по маске в урл!

богоносец
На сайте с 30.01.2007
Offline
774
#7
Moltisanti:
В индексе и без того слишком много страниц, не хотелось бы, чтобы робот тратил силы на обход ненужных.

Ну так значит опоздали вы с закрыванием хлама.

Вообще не нужно задаваться вопросом Откуда яндекс их может брать?

Надо чтобы был запрет их индексации (любыми способами, хоть 404 в ответе). И давно уже надо.

P
На сайте с 22.04.2014
Offline
69
#8
Profin:
Их однозначно нужно убирать и закрывать, только что проводил аудит, где после добавления развернутых модулей фильтров на сайт - он поплыл...



ПС узнают о них из любых источников, которыми владеют - это давно не удивительно (метрики, бары, источники переходов... на самом деле их намного больше).
Выход из ситуации не сложный - оставить только голую структуру сайта, без левых страниц в индексе. Т.к. они на корню путают релевантность.
И чем больше их съедает поиск - тем со временем ситуация всё хуже и хуже. А при большом количество страниц и запросов - нереально отследить смену релевантности пар страниц \ запросов. Начинается всё, как правило с НЧ и СЧ...

Если страницы фильтров не уникализированы контентом \ заголовками - запрещать к индексации по маске в урл!

Запрещать в роботе индексацию хорошо, но робот может все равно гулять по ним.

я в таком случае программистам даю задание - фильтры делать через аякс, вроде, так называется.

Суть в том, чтобы, результаты работы фильтра отображались без перезагрузки страницы, при любых параметрах поиска, урл остается исходным. И проблем нет.

Туризм, Отдых, Развлечения, Дети, Дом.
donc
На сайте с 16.01.2007
Offline
686
#9
Ingref:
Например, если страницу посетил пользователь с Яндекс.Браузером

Не только. Любой посетитель со Ятуркенженсирхивом от яндекса. Это и мозила может быть и даже пунто свитчер

Продвижение сайтов от 25 000 в мес, прозрачно, надежно https://searchengines.guru/ru/forum/818412 , но не быстро, отзывы
M
На сайте с 15.03.2012
Offline
128
#10
богоносец:
Вообще не нужно задаваться вопросом Откуда яндекс их может брать?
Надо чтобы был запрет их индексации (любыми способами, хоть 404 в ответе). И давно уже надо.
Profin:
Если страницы фильтров не уникализированы контентом \ заголовками - запрещать к индексации по маске в урл!

Как писал выше, у меня они запрещены через директиву clean-param. Плюс на таких страницах есть тег canonical, в котором url ссылается на полный список без фильтров. Хорош ли такой вариант или лучше запрещать по маске через роботс?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий