seo-jet: Поэтому оставьте все как есть. Ваш сайт из за этой "ошибки" не улетит на дно (если он в топе). Есть более важные и решающие факторы, над которыми стоит работать
Какие например? Я имею в виду внутреннюю оптимизацию
и ответ на один из самых задаваемых вопросов по тегу с атрибутом rel canonical:
каноникал не строгая директива и может не учитываться яндексом?
ответ от платона в комментах:
иногда атрибут rel="canonical" может не учитываться роботом, например, если в качестве канонического адреса указан другой домен\поддомен, а также если каноническая страница недоступна для робота. В большинстве остальных случаев робот следует указаниям.
Да, именно так я себе и представлял))
Теперь завершающий, и пожалуй, главный вопрос этой темы))
Не будут ли ссылки на сортировки и представления каталога, которые закрыты от индексации в роботсе, плохо влиять на продвижение сайта в целом? (именно это показывается красной ошибкой в спайдере - "ссылка закрыта от индексации") Что с ними сделать на самой странице? Т.к. битрикс не позволяет из коробки скрыть их, а готовый шаблон, если его кастомизировать перестанет нормально обновляться или затирать всю кастомизацию при обновлении...
Т.е. как бы ссылка есть, а в роботсе закрыта, но на странице не закрыта и не ноуфоллоу...
Wise.od: Привет!) Вроде как вопросы такие, с которыми наши ребята из поддержки должны были справиться — в итоге, не был дан чёткий ответ, что вы решили тут спросить?
Ответ как раз четкий, а вот как реализовать правильно ищу тут))
seo-jet: Закрывать странице правильнее как писал ingref
Но в большинстве CMS это не реализовано по умолчанию и надо дорабатывать движок. Если они по умолчанию не закрыты тегом noindex, то страницы с сортировками, фильтрами (которые не должны индексироваться) и прочим нужно закрывать через robots.txt
По ЧПУ фильтру Если у тебя страница сгенерированная должна индексироваться, а чпу фильтр обычно для этого и реализован, то у страниц фильтра где есть разные параметры сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/ сайт.ру/раздел/подраздел/голубой/?display=list
canonical должен быть сайт.ру/раздел/подраздел/голубой/
у раздела сайт.ру/раздел/подраздел/ и сайт.ру/раздел/подраздел/?display=list canonical должен быть сайт.ру/раздел/подраздел/
Ситуация, которую вы описали не очень нормальная, так как создает дополнительные ссылки, по которым робот может ходить Но исправить в движке вы ее вряд ли сможете, правильнее будет настроить canonical и индексацию.
Еще раз, для ЧПУ страницы фильтра canonical должен быть сайт.ру/раздел/подраздел/голубой/ без всяких apply, ?display=list, и прочил элементов в url, страницы с которыми могут попасть в индекс
Для раздела canonical должен быть сайт.ру/раздел/подраздел/
Именно так в итоге и замутил. Но вопрос был не про "закрыть страницы", а про то как быть с переменными, возникающими при сортировке и тд. Скорее всего, да и точно, я не вполне полно и правильно сформулировал вопрос, но в процессе обсуждения нашел на него ответ!))) Спасибо всем!
---------- Добавлено 01.03.2019 в 16:52 ----------
и тут же сразу спрошу, потому как в ветке про роботс не нашел конкретно ответа на эти вопросы:
1. имеет ли смысл просто закрыть от индексации все урлы, содержащие "?" ?
2. стоит ли закрыть от индексации страницы пагинации, содержащие "PAGEN"?
по п.2. - знаю, что пагинацию можно и нужно оформить должным образом (подмена меты на страницах, начиная со второй. текст описания раздела только на первой и тд...), но столкнулся с мнением, которое мне показалось логичным - если страницы есть в карте сайта, то пагинация уже не актуальна - робот и так все обойдет...
1. на странице сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/, которая сформирована с помощью модуля "сео умного фильтра" с заменой урла , урл имеет вид: сайт.ру/раздел/подраздел/голубой/
2. но кнопки, например, вида отображения каталога имеют первоначальные ссылки вида: сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/?display=list
3. при клике на эти кнопки происходит редирект на урл сформированный в п.1 с добавлением ?display=list, т.е. получается сайт.ру/раздел/подраздел/голубой/?display=list
это нормальная ситуация? или же стоит закрыть каким-нить образом ссылки из п.2?
---------- Добавлено 28.02.2019 в 11:15 ----------
seo-jet: Да, только смотрите лишнего чего не закройте, всегда проверяйте основные страницы после внесения правил в robots.txt а то бывали случаи когда не очень опытные seo-шники не зная как работают правила обрубали целые разделы, а потом удивлялись почему страницы из индекса вылетели..
У основной странице желательно еще указать мета тег rel canonical, но если он изначально не указан, то в различных cms реализация может быть геморной и с ним тоже можно наворотить дел так, что потом с индексацией будет ж***
все! понял! спасибо!
проверил, у урлов:
сайт.ру/раздел/подраздел/
сайт.ру/раздел/подраздел/?display=list
каноническим является первый. я так понимаю, что это правильно?
seo-jet: Так вопрос/цель в чем?
Объясни задачу получше
у тебя какая страница должна индексироваться?
я полагаю, что должна индексироваться страница без всяких *filter*-from-*, *filter*-to-*, *filter*-is-*, *filter/clear/apply*, /*sort=, /*order= в конце... или нет?
sb1982: Главное Файлы магазина сохраните - диз поменяете и вперёд, домен это основная ценность тут, а месяца точно не хвалит, обманули его с этим.
Расходимся нормально, обманывать не охота никого, как и портить приятельские отношения. Поэтому вопрос, а сколько надо времени, чтоб поисковый прогресс перенесся на его новый сайт надо? И не будет ли мое решение, описанное в первом посте лучшим и самым быстрым?
Поэтому оставьте все как есть. Ваш сайт из за этой "ошибки" не улетит на дно (если он в топе). Есть более важные и решающие факторы, над которыми стоит работать
Какие например? Я имею в виду внутреннюю оптимизацию
1. обычно так и делают в большинстве случаев, чтобы какие либо страницы которые не учел - не вылезли в выдаче
2.
Вот ссылка на рекомендацию яндекс
https://yandex.ru/blog/platon/2878
тут пункт 2
и ответ на один из самых задаваемых вопросов по тегу с атрибутом rel canonical:
каноникал не строгая директива и может не учитываться яндексом?
ответ от платона в комментах:
иногда атрибут rel="canonical" может не учитываться роботом, например, если в качестве канонического адреса указан другой домен\поддомен, а также если каноническая страница недоступна для робота. В большинстве остальных случаев робот следует указаниям.
Да, именно так я себе и представлял))
Теперь завершающий, и пожалуй, главный вопрос этой темы))
Не будут ли ссылки на сортировки и представления каталога, которые закрыты от индексации в роботсе, плохо влиять на продвижение сайта в целом? (именно это показывается красной ошибкой в спайдере - "ссылка закрыта от индексации") Что с ними сделать на самой странице? Т.к. битрикс не позволяет из коробки скрыть их, а готовый шаблон, если его кастомизировать перестанет нормально обновляться или затирать всю кастомизацию при обновлении...
Т.е. как бы ссылка есть, а в роботсе закрыта, но на странице не закрыта и не ноуфоллоу...
Привет!) Вроде как вопросы такие, с которыми наши ребята из поддержки должны были справиться — в итоге, не был дан чёткий ответ, что вы решили тут спросить?
Ответ как раз четкий, а вот как реализовать правильно ищу тут))
Закрывать странице правильнее как писал ingref
Но в большинстве CMS это не реализовано по умолчанию и надо дорабатывать движок.
Если они по умолчанию не закрыты тегом noindex, то страницы с сортировками, фильтрами (которые не должны индексироваться) и прочим нужно закрывать через robots.txt
По ЧПУ фильтру
Если у тебя страница сгенерированная должна индексироваться, а чпу фильтр обычно для этого и реализован, то у страниц фильтра где есть разные параметры
сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/
сайт.ру/раздел/подраздел/голубой/?display=list
canonical должен быть сайт.ру/раздел/подраздел/голубой/
у раздела сайт.ру/раздел/подраздел/ и сайт.ру/раздел/подраздел/?display=list canonical должен быть сайт.ру/раздел/подраздел/
Ситуация, которую вы описали не очень нормальная, так как создает дополнительные ссылки, по которым робот может ходить
Но исправить в движке вы ее вряд ли сможете, правильнее будет настроить canonical и индексацию.
Еще раз, для ЧПУ страницы фильтра canonical должен быть сайт.ру/раздел/подраздел/голубой/
без всяких apply, ?display=list, и прочил элементов в url, страницы с которыми могут попасть в индекс
Для раздела canonical должен быть сайт.ру/раздел/подраздел/
Именно так в итоге и замутил. Но вопрос был не про "закрыть страницы", а про то как быть с переменными, возникающими при сортировке и тд. Скорее всего, да и точно, я не вполне полно и правильно сформулировал вопрос, но в процессе обсуждения нашел на него ответ!))) Спасибо всем!
---------- Добавлено 01.03.2019 в 16:52 ----------
и тут же сразу спрошу, потому как в ветке про роботс не нашел конкретно ответа на эти вопросы:
1. имеет ли смысл просто закрыть от индексации все урлы, содержащие "?" ?
2. стоит ли закрыть от индексации страницы пагинации, содержащие "PAGEN"?
по п.2. - знаю, что пагинацию можно и нужно оформить должным образом (подмена меты на страницах, начиная со второй. текст описания раздела только на первой и тд...), но столкнулся с мнением, которое мне показалось логичным - если страницы есть в карте сайта, то пагинация уже не актуальна - робот и так все обойдет...
что скажете?
вот еще тогда сразу интересующий момент:
1. на странице сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/, которая сформирована с помощью модуля "сео умного фильтра" с заменой урла , урл имеет вид: сайт.ру/раздел/подраздел/голубой/
2. но кнопки, например, вида отображения каталога имеют первоначальные ссылки вида: сайт.ру/раздел/подраздел/filter/tsvet-is-goluboy/apply/?display=list
3. при клике на эти кнопки происходит редирект на урл сформированный в п.1 с добавлением ?display=list, т.е. получается сайт.ру/раздел/подраздел/голубой/?display=list
это нормальная ситуация? или же стоит закрыть каким-нить образом ссылки из п.2?
---------- Добавлено 28.02.2019 в 11:15 ----------
Да, только смотрите лишнего чего не закройте, всегда проверяйте основные страницы после внесения правил в robots.txt
а то бывали случаи когда не очень опытные seo-шники не зная как работают правила обрубали целые разделы, а потом удивлялись почему страницы из индекса вылетели..
У основной странице желательно еще указать мета тег rel canonical, но если он изначально не указан, то в различных cms реализация может быть геморной и с ним тоже можно наворотить дел так, что потом с индексацией будет ж***
все! понял! спасибо!
проверил, у урлов:
сайт.ру/раздел/подраздел/
сайт.ру/раздел/подраздел/?display=list
каноническим является первый. я так понимаю, что это правильно?
Да, все верно
Проверьте ее, если она индексируется - то все в порядке.
Т.е. если закрыл в роботсе с помощью disallow параметры с пагинацией, сортировками и тд, то все норм?
Так вопрос/цель в чем?
Объясни задачу получше
у тебя какая страница должна индексироваться?
я полагаю, что должна индексироваться страница без всяких *filter*-from-*, *filter*-to-*, *filter*-is-*, *filter/clear/apply*, /*sort=, /*order= в конце... или нет?
Ну так у тебя по правилам robots.txt
и это https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
и это https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
закрыто от индексации правилом Disallow: /*sort=
если конечно вопрос об этом
Так что, эту инструкцию из роботс удалить?
Что тогда вообще делать с этими страницами? Это ж, по сути, дубли...
Закрыть их вот так - https://support.google.com/webmasters/answer/93710?hl=ru
Но учитывая уровень ваших вопросов, лучше ничего не трогать, от греха подальше.
Вот чтоб не наворотить, я тут и пристаю к людям с глупыми вопросами)
---------- Добавлено 27.02.2019 в 23:12 ----------
Так вот к теме топика... Как исправлять?)
Заранее спасибо!
ок, тогда ошибка номер 2.
ситуация такая, в роботсе заблокированы переменные, возникающие в урле по причине сортировок и видов отображения в каталоге, например:
1. страница, формируемая с помощью умного фильтра битрикс:
https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
2. с помощью модуля "сео умного фильтра" перекидывает "301 Moved Permanently" на страницу https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc с ответом "200 OK" text/html; charset=UTF-8
3. но спайдер считает, что целевой УРЛ закрыт в роботсе "TRUE":
https://***.ru:443/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
в роботсе есть записи в виде:
Disallow: *filter*-from-*
Disallow: *filter*-to-*
Disallow: *filter*-is-*
Disallow: *filter/clear/apply*
Disallow: /*sort=
Disallow: /*order=
как правильно все оформить для такого случая?))
Главное Файлы магазина сохраните - диз поменяете и вперёд, домен это основная ценность тут, а месяца точно не хвалит, обманули его с этим.
Расходимся нормально, обманывать не охота никого, как и портить приятельские отношения. Поэтому вопрос, а сколько надо времени, чтоб поисковый прогресс перенесся на его новый сайт надо? И не будет ли мое решение, описанное в первом посте лучшим и самым быстрым?