- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
всем привет!
прогоняю сайт через нетпик спайдер. прошу помощи по исправлению ошибок, т.к. некоторые из них мне не понятны. например, самая первая и спайдером отмеченная как высококритичная:
1. редирект, заблокированный в роботс.
https://***.ru/personal/ 302 Found https://***.ru/auth/ 200 OK text/html; charset=UTF-8 TRUE https://***.ru:443/auth/
т.е. в роботс прописано:
User-Agent: *
Disallow: /auth*
Disallow: /personal/
на мой взгляд, эти страницы не должны быть представлены в поиске, потому как не несут для пользователя никакой пользы, т.к. это интернет-магазин, где покупки, в основном, совершаются единоразово. и на моей памяти, никто не пользовался личным кабинетом, даже при повторных покупках - просто оформляли заказ еще раз...
УПД. насколько я понял из общения с поддержкой спайдера, если я блокирую в роботс какие-либо страницы, то и ссылки на них надо пометить с помощью rel="nofollow"?
В принципе, да. Тогда Google не будет тратить время на то, чтобы по ним ходить. Ну а Яндекс и так не индексирует то, что в роботсе закрыто.
ок, тогда ошибка номер 2.
ситуация такая, в роботсе заблокированы переменные, возникающие в урле по причине сортировок и видов отображения в каталоге, например:
1. страница, формируемая с помощью умного фильтра битрикс:
https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
2. с помощью модуля "сео умного фильтра" перекидывает "301 Moved Permanently" на страницу https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc с ответом "200 OK" text/html; charset=UTF-8
3. но спайдер считает, что целевой УРЛ закрыт в роботсе "TRUE":
https://***.ru:443/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
в роботсе есть записи в виде:
Disallow: *filter*-from-*
Disallow: *filter*-to-*
Disallow: *filter*-is-*
Disallow: *filter/clear/apply*
Disallow: /*sort=
Disallow: /*order=
как правильно все оформить для такого случая?))
Закрыть их вот так - https://support.google.com/webmasters/answer/93710?hl=ru
Но учитывая уровень ваших вопросов, лучше ничего не трогать, от греха подальше.
Закрыть их вот так - https://support.google.com/webmasters/answer/93710?hl=ru
Но учитывая уровень ваших вопросов, лучше ничего не трогать, от греха подальше.
Вот чтоб не наворотить, я тут и пристаю к людям с глупыми вопросами)
---------- Добавлено 27.02.2019 в 23:12 ----------
Так вот к теме топика... Как исправлять?)
Заранее спасибо!
ок, тогда ошибка номер 2.
ситуация такая, в роботсе заблокированы переменные, возникающие в урле по причине сортировок и видов отображения в каталоге, например:
1. страница, формируемая с помощью умного фильтра битрикс:
https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
2. с помощью модуля "сео умного фильтра" перекидывает "301 Moved Permanently" на страницу https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc с ответом "200 OK" text/html; charset=UTF-8
3. но спайдер считает, что целевой УРЛ закрыт в роботсе "TRUE":
https://***.ru:443/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
в роботсе есть записи в виде:
Disallow: *filter*-from-*
Disallow: *filter*-to-*
Disallow: *filter*-is-*
Disallow: *filter/clear/apply*
Disallow: /*sort=
Disallow: /*order=
как правильно все оформить для такого случая?))
Ну так у тебя по правилам robots.txt
и это https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
и это https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
закрыто от индексации правилом Disallow: /*sort=
если конечно вопрос об этом
Ну так у тебя по правилам robots.txt
и это https://***.ru/catalog/раздел/подраздел/filter/tip-is-elektricheskiy/apply/?sort=SHOWS&order=asc
и это https://***.ru/catalog/раздел/подраздел/electric/?sort=SHOWS&order=asc
закрыто от индексации правилом Disallow: /*sort=
если конечно вопрос об этом
Так что, эту инструкцию из роботс удалить?
Что тогда вообще делать с этими страницами? Это ж, по сути, дубли...
Так что, эту инструкцию из роботс удалить?
Что тогда вообще делать с этими страницами? Это ж, по сути, дубли...
Так вопрос/цель в чем?
Объясни задачу получше
у тебя какая страница должна индексироваться?
Так вопрос/цель в чем?
Объясни задачу получше
у тебя какая страница должна индексироваться?
я полагаю, что должна индексироваться страница без всяких *filter*-from-*, *filter*-to-*, *filter*-is-*, *filter/clear/apply*, /*sort=, /*order= в конце... или нет?
я полагаю, что должна индексироваться страница без всяких *filter*-from-*, *filter*-to-*, *filter*-is-*, *filter/clear/apply*, /*sort=, /*order= в конце... или нет?
Да, все верно
Проверьте ее, если она индексируется - то все в порядке.
Да, все верно
Проверьте ее, если она индексируется - то все в порядке.
Т.е. если закрыл в роботсе с помощью disallow параметры с пагинацией, сортировками и тд, то все норм?