Информация о странице недоступна ("страница заблокирована в robots", но на самом деле нет) – только в Google. В чем причина?

T0
На сайте с 10.06.2010
Offline
93
263

Добрый день!

Сайт – ИМ на Bitrix.

Столкнулись с тем, что в Google (и только в нём) все страницы раздела /brands/, будучи проиндексированными, в сниппетах показывают такое:

Информация о странице недоступна


Google указывает, что страница (все страницы раздела) заблокированы в robots.txt. Но на самом деле это не совсем так. В robots прописана директива Disallow: /brands/*?,  блокирующая все урлы в разделе, содержащие "?". Ровно то же самое прописано для всего раздела /catalog/, у которого со сниппетами в выдаче всё нормально. Повторяю, проблема справедлива только для Google.

Вопрос: в чём ошибка?
P.S. Бренды, кроме того, выведены в отдельный sitemap, который прописан в robots. Это для информации.

Robots:

User-agent: *
Disallow: /bitrix/admin/
Disallow: /auth/
Disallow: /activity/
Disallow: /include/
Disallow: /upload/

Allow: /upload/iblock/
Disallow: *?$
Disallow: *index.php$
Disallow: *&$
Disallow: /system/
Disallow: /catalog/compare/
Disallow: /about/commercial/
Disallow: /about/suppliers/
# Disallow: /service/
# Disallow: /suggestions/
# Disallow: /help/krupnogabaritnyy-tovar/
# Disallow: /help/zashchita-personalnykh-dannykh/
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /about/service/new.php
Disallow: /brands/*?
Disallow: /*view=
Disallow: /*/filter/clear/*
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*order=
Disallow: /*sort=
Disallow: /*limit=
Disallow: /*action=
Disallow: /personal/
Disallow: /login/
Disallow: /regictration/
Disallow: /search/
Disallow: /*search=*
Disallow: /*SELECTION_ID
# Disallow: /*PAGEN_*
Disallow: /*set_filter*
Disallow: /*arrFilter*
# Disallow: /*/filter/
Disallow: /*/bez_gruppy/
Disallow: /*bitrix_include_areas*
Disallow: /help/*podskazki-k-filtram/*
Disallow: /*price-*

# Disallow: /*store_available*
# Disallow: /*razmer-is-*
# Disallow: /*razmer_1-is-*
# Disallow: /*tsvet-is-*
# Disallow: /*tsvet_1-is-*

Disallow: /catalog/*?
Disallow: /about/*?
Allow: /about/*?amp
Disallow: /specials/*?
# Disallow: /specials/*
Disallow: /catalog/*fast-delivery/*
# Disallow: /*filter/*-or-*

Disallow: */brend-is-*/brend-is-*
Disallow: */brend-is-*-or-*/*
Disallow: /about/vacancies/*
Allow: /about/vacancies/$
Disallow: /*is-%D0%B5%D1%81%D1%82%D1%8C$
Disallow: /*is-da$
Disallow: /*/khit-is-da/
Disallow: /*/filter/store_available-is-13-or-7/
Disallow: /*/filter/store_available-is-13-or-4/
Disallow: /*/filter/store_available-is-7-or-4/


Vladimir SEO
На сайте с 19.10.2011
Offline
1708
#1

пользуйтесь на здоровье

https://www.google.com/webmasters/tools/robots-testing-tool

Google Search Console
  • www.google.com
Search Console позволяет следить за позицией вашего сайта в Google Поиске.
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
T0
На сайте с 10.06.2010
Offline
93
#2
Vladimir SEO #:

пользуйтесь на здоровье

https://www.google.com/webmasters/tools/robots-testing-tool

В том и фикус, что раздел в Роботс определяется валидатором как доступный

png cq2wom_3eggno_2022-01-16_p_15.14.10.png
Vladimir SEO
На сайте с 19.10.2011
Offline
1708
#3
tr00ba #:

В том и фикус, что раздел в Роботс определяется валидатором как доступный

а страницы проверяли ?
T0
На сайте с 10.06.2010
Offline
93
#4
Vladimir SEO #:
а страницы проверяли ?

Да, конечно. Они все в индексе, только сниппетов Гуглу не отдают. 

И Гугл указывает на запрет в роботс. А валидатор показывает обратное.

Vladimir SEO
На сайте с 19.10.2011
Offline
1708
#5
tr00ba #:

Да, конечно. Они все в индексе, только сниппетов Гуглу не отдают. 

И Гугл указывает на запрет в роботс. А валидатор показывает обратное.

в консоли есть два варика - один это получить данные из индекса и проверка страницы ботом - обе что показывают ? и сколько времени длится вся эта метушня ?
Виктор Петров
На сайте с 05.01.2020
Offline
240
#6
tr00ba :
Вопрос: в чём ошибка?

Да у вас весь robots - одна сплошная ошибка с непредсказуемой обработкой.
Уберите лишние строки-пробелы. Allow ставьте после Disallow.
Да и собственно ваша директива - это запрет на содержимое раздела, а не параметров. То, что у вас аналогичное в "каталоге" проиндексировано нормально - скорее, потому, что там раздел важный, и не благодаря, а вопреки robots - Гугл его склонен игнорировать, если что-то не срастается.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий