Помогите разобраться с netpeak spider

Да, только смотрите лишнего чего не закройте, всегда проверяйте основные страницы после внесения правил в robots.txt

а то бывали случаи когда не очень опытные seo-шники не зная как работают правила обрубали целые разделы, а потом удивлялись почему страницы из индекса вылетели..

У основной странице желательно еще указать мета тег rel canonical, но если он изначально не указан, то в различных cms реализация может быть геморной и с ним тоже можно наворотить дел так, что потом с индексацией будет ж***

вот еще тогда сразу интересующий момент:

1. на странице сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/, которая сформирована с помощью модуля "сео умного фильтра" с заменой урла , урл имеет вид: сайт.ру/раздел/подраздел/голубой/

2. но кнопки, например, вида отображения каталога имеют первоначальные ссылки вида: сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/?display=list

3. при клике на эти кнопки происходит редирект на урл сформированный в п.1 с добавлением ?display=list, т.е. получается сайт.ру/раздел/подраздел/голубой/?display=list

это нормальная ситуация? или же стоит закрыть каким-нить образом ссылки из п.2?

---------- Добавлено 28.02.2019 в 11:15 ----------

все! понял! спасибо!

проверил, у урлов:

сайт.ру/раздел/подраздел/

сайт.ру/раздел/подраздел/?display=list

каноническим является первый. я так понимаю, что это правильно?

Закрывать странице правильнее как писал ingref

Но в большинстве CMS это не реализовано по умолчанию и надо дорабатывать движок.

Если они по умолчанию не закрыты тегом noindex, то страницы с сортировками, фильтрами (которые не должны индексироваться) и прочим нужно закрывать через robots.txt

По ЧПУ фильтру

Если у тебя страница сгенерированная должна индексироваться, а чпу фильтр обычно для этого и реализован, то у страниц фильтра где есть разные параметры

сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/

сайт.ру/раздел/подраздел/голубой/?display=list

canonical должен быть сайт.ру/раздел/подраздел/голубой/

у раздела сайт.ру/раздел/подраздел/ и сайт.ру/раздел/подраздел/?display=list canonical должен быть сайт.ру/раздел/подраздел/

Ситуация, которую вы описали не очень нормальная, так как создает дополнительные ссылки, по которым робот может ходить

Но исправить в движке вы ее вряд ли сможете, правильнее будет настроить canonical и индексацию.

Еще раз, для ЧПУ страницы фильтра canonical должен быть сайт.ру/раздел/подраздел/голубой/

без всяких apply, ?display=list, и прочил элементов в url, страницы с которыми могут попасть в индекс

Для раздела canonical должен быть сайт.ру/раздел/подраздел/

Привет!) Вроде как вопросы такие, с которыми наши ребята из поддержки должны были справиться — в итоге, не был дан чёткий ответ, что вы решили тут спросить?

Ответ как раз четкий, а вот как реализовать правильно ищу тут))

Именно так в итоге и замутил. Но вопрос был не про "закрыть страницы", а про то как быть с переменными, возникающими при сортировке и тд. Скорее всего, да и точно, я не вполне полно и правильно сформулировал вопрос, но в процессе обсуждения нашел на него ответ!))) Спасибо всем!

---------- Добавлено 01.03.2019 в 16:52 ----------

и тут же сразу спрошу, потому как в ветке про роботс не нашел конкретно ответа на эти вопросы:

1. имеет ли смысл просто закрыть от индексации все урлы, содержащие "?" ?

2. стоит ли закрыть от индексации страницы пагинации, содержащие "PAGEN"?

по п.2. - знаю, что пагинацию можно и нужно оформить должным образом (подмена меты на страницах, начиная со второй. текст описания раздела только на первой и тд...), но столкнулся с мнением, которое мне показалось логичным - если страницы есть в карте сайта, то пагинация уже не актуальна - робот и так все обойдет...

что скажете?

1. обычно так и делают в большинстве случаев, чтобы какие либо страницы которые не учел - не вылезли в выдаче

2.

Вот ссылка на рекомендацию яндекс

https://yandex.ru/blog/platon/2878

тут пункт 2

и ответ на один из самых задаваемых вопросов по тегу с атрибутом rel canonical:

каноникал не строгая директива и может не учитываться яндексом?

ответ от платона в комментах:

иногда атрибут rel="canonical" может не учитываться роботом, например, если в качестве канонического адреса указан другой домен\поддомен, а также если каноническая страница недоступна для робота. В большинстве остальных случаев робот следует указаниям.

Да, именно так я себе и представлял))

Теперь завершающий, и пожалуй, главный вопрос этой темы))

Не будут ли ссылки на сортировки и представления каталога, которые закрыты от индексации в роботсе, плохо влиять на продвижение сайта в целом? (именно это показывается красной ошибкой в спайдере - "ссылка закрыта от индексации") Что с ними сделать на самой странице? Т.к. битрикс не позволяет из коробки скрыть их, а готовый шаблон, если его кастомизировать перестанет нормально обновляться или затирать всю кастомизацию при обновлении...

Т.е. как бы ссылка есть, а в роботсе закрыта, но на странице не закрыта и не ноуфоллоу...

По canonical и страницам пагинации добавлю еще инфу:

найдите статью на seo news - Атрибут "canonical" и пагинация: разногласия в рекомендациях Яндекса и Google

здесь оказывается на этот сайт ссылки затираются..

Ситуация по ним конечно двоякая и четкого ответа от яндекса нет, есть образно рекомендация.

Я бы такие страницы закрывать в robots.txt не стал, сделал бы через каноникал

По поводу страниц сортировки и ссылок на закрытые разделы:

теоретически может быть такое влияние - https://devaka.ru/articles/links-to-noindex

скорее всего нетспик показывает это как ошибку, так как внутренний ссылочный вес уходит в никуда со страницы, которая ссылается на закрытую страницу, уточните лучше это у техподдержки.

Но решения данной "ошибки" или посредством хитрой js подмены спрятать эти ссылки, или отказаться от этого функционала.

Ни то, ни другое думаю вас не устроит и с точки зрения разумности данного решения, и с точки зрения внедрения и поддержки.

Поэтому оставьте все как есть. Ваш сайт из за этой "ошибки" не улетит на дно (если он в топе). Есть более важные и решающие факторы, над которыми стоит работать

Какие например? Я имею в виду внутреннюю оптимизацию

Почитайте пожалуйста самостоятельно про внутреннюю оптимизацию.

Я не отвечу вам что вот есть фактор 1 и фактор 2, и надо его проработать и тогда все будет хорошо.

ПС учитывают огромное количество показателей, как внутренних, так и внешних - которые в совокупности влияют на релевантность документа по запросу.

А расписывать все основы внутренней оптимизации - на это у меня времени не найдется, да и вопросы уже выходят за рамки обсуждения стартпоста