Помогите решить проблему с Robots.txt

12
strannik2
На сайте с 06.02.2009
Offline
108
1191

Всех приветствую и благодарю что не прошли мимо.

Ситуация следующая: Интерент-магазин на битриксе. Яндекс очень много находит страниц с знаком ?   Пример: /?year   /?section  и.т.д.
Я устал их закрывать. Решил закрыть все страницы с этим знаком директивой Disallow: /*?*
Но страницы навигации "пагинация" тоже содержит этот знак вопрос: /komody/?PAGEN_1=2
Как только я не пытался прописать в директиве Allow: 
Allow:  /* ?PAGEN_1= *
Allow:  /?PAGEN * 
и.т.д.
не помогает, страницы навигации исключены из индекса. Проверяю сервисом. 
Может кто то сталкивался с подобной проблемой и знает как правильно нужно прописать, чтобы стрницы пагинации индексировались, а все остальные страницы со знаком ?  не индексировались. Подскажите пожалуйста.

strannik2
На сайте с 06.02.2009
Offline
108
#1
Если нужно сайт посмотреть, то вот адрес mebel-nastile.ru
Виктор Петров
На сайте с 05.01.2020
Offline
240
#2
strannik2 :
не помогает, страницы навигации исключены из индекса. Проверяю сервисом. 

robots.txt - это не про индексацию. Это про сканирование. В битриксовом роботс по дефолту всё настроено правильно, не трогайте просто так.
Вопрос: зачем вам эти страницы в индексе вообще? Это мусор. Чтобы роботы нашли ваши товары - им достаточно sitemap.xml и внутренней перелинковки. пагинация - это архаика, притом способная отрицательно повлиять на ранжирование.

strannik2
На сайте с 06.02.2009
Offline
108
#3
Виктор Петров #:

robots.txt - это не про индексацию. Это про сканирование. В битриксовом роботс по дефолту всё настроено правильно, не трогайте просто так.
Вопрос: зачем вам эти страницы в индексе вообще? Это мусор. Чтобы роботы нашли ваши товары - им достаточно sitemap.xml и внутренней перелинковки. пагинация - это архаика, притом способная отрицательно повлиять на ранжирование.

Спасибо за ответ. На сколько я знаю по правилам того же яндекса страницы пагинации не должны быть закрыты от индексации, но должны иметь атрибут rel="canonical - он у меня прописан. 

CC
На сайте с 31.03.2012
Offline
80
#4
strannik2 :

Всех приветствую и благодарю что не прошли мимо.

Ситуация следующая: Интерент-магазин на битриксе. Яндекс очень много находит страниц с знаком ?   Пример: /?year   /?section  и.т.д.
Я устал их закрывать. Решил закрыть все страницы с этим знаком директивой Disallow: /*?*
Но страницы навигации "пагинация" тоже содержит этот знак вопрос: /komody/?PAGEN_1=2
Как только я не пытался прописать в директиве Allow: 
Allow:  / * ?PAGEN_1= *
Allow:  / ?PAGEN * 
и.т.д.
не помогает, страницы навигации исключены из индекса. Проверяю сервисом. 
Может кто то сталкивался с подобной проблемой и знает как правильно нужно прописать, чтобы стрницы пагинации индексировались, а все остальные страницы со знаком ?  не индексировались. Подскажите пожалуйста.

...

Disallow : /*?

Allow: /*?PAGEN


В вашем примере есть пробелы, возможно причина в этом. В любом случае всегда можно протестировать https://webmaster.yandex.ru/tools/robotstxt/ перед публикацией файла.

strannik2
На сайте с 06.02.2009
Offline
108
#5
Cheshirski-Cat #:

...

Disallow : /*?

Allow: /*?PAGEN


В вашем примере есть пробелы, возможно причина в этом. В любом случае всегда можно протестировать https://webmaster.yandex.ru/tools/robotstxt/ перед публикацией файла.

Дело точно не в пробелах. Тут я набросал как пример . На сайте без пробелов.   (на данный момент чтобы народ не смущать, тут тоже убрал пробелы)

strannik2
На сайте с 06.02.2009
Offline
108
#6

Нашел одно решение данной проблемы 😀
Прописав точный путь, с страницы снялось ограничение для роботов:  Allow: /catalog/spalnye_garnitury/?PAGEN_1=2
Далее прописав так: Allow: /catalog/spalnye_garnitury/?PAGEN_1=*
Заработали все страницы 2,3, и.т.д.
Экспортнул все url категории, через XL автоматом подставил нужные значения и ура, заработало. Если кто знает решение проще, то обязательно напишите. В интернете я не нашел решения.

Сам занимаюсь продвижением сайтов более 7 лет и впервые с подобным столкнулся. У стандартного битрикса таких проблем нет, но вот с этим готовым решением, что установлено возникли.   

Виктор Петров
На сайте с 05.01.2020
Offline
240
#7
strannik2 #:
Далее прописав так: Allow: /catalog/spalnye_garnitury/?PAGEN_1=*
Заработали все страницы 2,3, и.т.д.
Экспортнул все url категории, через XL автоматом подставил нужные значения и ура, заработало. Если кто знает решение проще, то обязательно напишите. В интернете я не нашел решения.

Я бы использовал такую формулу:
Allow: */?PAGEN_*=*
Но всё же от лукаваго это.

Антоний Казанский
На сайте с 12.04.2007
Offline
715
#8
strannik2 #:
На сколько я знаю по правилам того же яндекса страницы пагинации не должны быть закрыты от индексации

Точно правила? Или всё же отдельные рекомендации?

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
V
На сайте с 13.08.2018
Offline
39
#9
strannik2 :

Всех приветствую и благодарю что не прошли мимо.

Ситуация следующая: Интерент-магазин на битриксе. Яндекс очень много находит страниц с знаком ?   Пример: /?year   /?section  и.т.д.
Я устал их закрывать. Решил закрыть все страницы с этим знаком директивой Disallow: /*?*
Но страницы навигации "пагинация" тоже содержит этот знак вопрос: /komody/?PAGEN_1=2
Как только я не пытался прописать в директиве Allow: 
Allow:  /* ?PAGEN_1= *
Allow:  /?PAGEN * 
и.т.д.
не помогает, страницы навигации исключены из индекса. Проверяю сервисом. 
Может кто то сталкивался с подобной проблемой и знает как правильно нужно прописать, чтобы стрницы пагинации индексировались, а все остальные страницы со знаком ?  не индексировались. Подскажите пожалуйста.

Вы занимаетесь абсолютно бесполезным делом прописывая десятки директив для разрешения индексирования страниц пагинации. У вас на сайте есть каноничные адреса https://prnt.sc/uYCK8yzJpJGh исключающие индексацю пагинации и всяких там ?PAGEN_1=2

Да и зачем вам дубли страниц? Чем для поисковика будет отличаться страница /catalog/takhty/ от /catalog/takhty/?PAGEN_1=* ? Ответ - ничем. Яндекс может выкинуть из поиска  /catalog/takhty/ как малоценную, если будет следовать вашим директивам в роботс.тхт

Удалите подобные директивы из роботс.тхт: Allow: /catalog/takhty/?PAGEN_1=* 

упростите поисковикам индексирование сайта

Здесь могла быть моя подпись :-)
sochi-russia
На сайте с 06.01.2012
Offline
192
#10
strannik2 :

Всех приветствую и благодарю что не прошли мимо.

Ситуация следующая: Интерент-магазин на битриксе. Яндекс очень много находит страниц с знаком ?   Пример: /?year   /?section  и.т.д.
Я устал их закрывать. Решил закрыть все страницы с этим знаком директивой Disallow: /*?*
Но страницы навигации "пагинация" тоже содержит этот знак вопрос: /komody/?PAGEN_1=2
Как только я не пытался прописать в директиве Allow: 
Allow:  /* ?PAGEN_1= *
Allow:  /?PAGEN * 
и.т.д.
не помогает, страницы навигации исключены из индекса. Проверяю сервисом. 
Может кто то сталкивался с подобной проблемой и знает как правильно нужно прописать, чтобы стрницы пагинации индексировались, а все остальные страницы со знаком ?  не индексировались. Подскажите пожалуйста.

Вот так правильно  Disallow: /?*

Telegram Чат Бот дешёвых авиабилетов https://t.me/Aviaonlinebot Супер Хостинг от 9,20 руб в день https://clck.ru/Rk2P5 🖧 VPS от 19 руб. https://clck.ru/afhGc 🖧 Выделенные СЕРВЕРЫ - БЕСПЛАТНЫЕ плюшки https://clck.ru/YhkZe 🖧 / / Хостинг от 6руб в день! https://clck.ru/Rk2P5
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий