Помогите разобраться с netpeak spider

12 3
A
На сайте с 18.03.2013
Offline
72
1506

всем привет!

прогоняю сайт через нетпик спайдер. прошу помощи по исправлению ошибок, т.к. некоторые из них мне не понятны. например, самая первая и спайдером отмеченная как высококритичная:

1. редирект, заблокированный в роботс.

https://***.ru/personal/ 302 Found https://***.ru/auth/ 200 OK text/html; charset=UTF-8 TRUE https://***.ru:443/auth/

т.е. в роботс прописано:

User-Agent: *

Disallow: /auth*

Disallow: /personal/

на мой взгляд, эти страницы не должны быть представлены в поиске, потому как не несут для пользователя никакой пользы, т.к. это интернет-магазин, где покупки, в основном, совершаются единоразово. и на моей памяти, никто не пользовался личным кабинетом, даже при повторных покупках - просто оформляли заказ еще раз...

УПД. насколько я понял из общения с поддержкой спайдера, если я блокирую в роботс какие-либо страницы, то и ссылки на них надо пометить с помощью rel="nofollow"?

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#1

В принципе, да. Тогда Google не будет тратить время на то, чтобы по ним ходить. Ну а Яндекс и так не индексирует то, что в роботсе закрыто.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
A
На сайте с 18.03.2013
Offline
72
#2

ок, тогда ошибка номер 2.

ситуация такая, в роботсе заблокированы переменные, возникающие в урле по причине сортировок и видов отображения в каталоге, например:

1. страница, формируемая с помощью умного фильтра битрикс:

https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc

2. с помощью модуля "сео умного фильтра" перекидывает "301 Moved Permanently" на страницу https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc с ответом "200 OK" text/html; charset=UTF-8

3. но спайдер считает, что целевой УРЛ закрыт в роботсе "TRUE":

https://***.ru:443/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc

в роботсе есть записи в виде:

Disallow: *filter*-from-*

Disallow: *filter*-to-*

Disallow: *filter*-is-*

Disallow: *filter/clear/apply*

Disallow: /*sort=

Disallow: /*order=

как правильно все оформить для такого случая?))

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#3

Закрыть их вот так - https://support.google.com/webmasters/answer/93710?hl=ru

Но учитывая уровень ваших вопросов, лучше ничего не трогать, от греха подальше.

A
На сайте с 18.03.2013
Offline
72
#4
Ingref:
Закрыть их вот так - https://support.google.com/webmasters/answer/93710?hl=ru
Но учитывая уровень ваших вопросов, лучше ничего не трогать, от греха подальше.

Вот чтоб не наворотить, я тут и пристаю к людям с глупыми вопросами)

---------- Добавлено 27.02.2019 в 23:12 ----------

Так вот к теме топика... Как исправлять?)

Заранее спасибо!

SJ
На сайте с 09.10.2017
Offline
30
#5
alkostar:
ок, тогда ошибка номер 2.
ситуация такая, в роботсе заблокированы переменные, возникающие в урле по причине сортировок и видов отображения в каталоге, например:
1. страница, формируемая с помощью умного фильтра битрикс:
https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
2. с помощью модуля "сео умного фильтра" перекидывает "301 Moved Permanently" на страницу https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc с ответом "200 OK" text/html; charset=UTF-8
3. но спайдер считает, что целевой УРЛ закрыт в роботсе "TRUE":
https://***.ru:443/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc

в роботсе есть записи в виде:
Disallow: *filter*-from-*
Disallow: *filter*-to-*
Disallow: *filter*-is-*
Disallow: *filter/clear/apply*
Disallow: /*sort=
Disallow: /*order=

как правильно все оформить для такого случая?))

Ну так у тебя по правилам robots.txt

и это https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc

и это https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc

закрыто от индексации правилом Disallow: /*sort=

если конечно вопрос об этом

A
На сайте с 18.03.2013
Offline
72
#6
seo-jet:
Ну так у тебя по правилам robots.txt
и это https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
и это https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
закрыто от индексации правилом Disallow: /*sort=

если конечно вопрос об этом

Так что, эту инструкцию из роботс удалить?

Что тогда вообще делать с этими страницами? Это ж, по сути, дубли...

SJ
На сайте с 09.10.2017
Offline
30
#7
alkostar:
Так что, эту инструкцию из роботс удалить?

Что тогда вообще делать с этими страницами? Это ж, по сути, дубли...

Так вопрос/цель в чем?

Объясни задачу получше

у тебя какая страница должна индексироваться?

A
На сайте с 18.03.2013
Offline
72
#8
seo-jet:
Так вопрос/цель в чем?
Объясни задачу получше

у тебя какая страница должна индексироваться?

я полагаю, что должна индексироваться страница без всяких *filter*-from-*, *filter*-to-*, *filter*-is-*, *filter/clear/apply*, /*sort=, /*order= в конце... или нет?

SJ
На сайте с 09.10.2017
Offline
30
#9
alkostar:
я полагаю, что должна индексироваться страница без всяких *filter*-from-*, *filter*-to-*, *filter*-is-*, *filter/clear/apply*, /*sort=, /*order= в конце... или нет?

Да, все верно

Проверьте ее, если она индексируется - то все в порядке.

A
На сайте с 18.03.2013
Offline
72
#10
seo-jet:
Да, все верно
Проверьте ее, если она индексируется - то все в порядке.

Т.е. если закрыл в роботсе с помощью disallow параметры с пагинацией, сортировками и тд, то все норм?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий