Robots.txt, анализ роботс.тхт и проверка ответа сервера - странная ситуация

L
На сайте с 01.11.2012
Offline
146
164

Привет.

Ситуация.

На сайте есть коллекции светильников в виде следующих страниц

https://www.example.ru/cat/lustri?filter[attr12][0]=Pentola

https://www.example.ru/cat/svetilniki?filter[attr12][0]=Nur

https://www.example.ru/cat/torsheri?filter[attr12][0]=Alicante

https://www.example.ru/cat/bra?filter[attr12][0]=Aosta

https://www.example.ru/cat/lampi?filter[attr12][0]=Aqua

и т.д.

1. Кусок Роботс.тхт сайта

User-agent: *

Disallow: /admin/

Disallow: /cart

Disallow: /*filter*=

Allow: *?filter[attr16][0]=*

Disallow: /search*

....

Sitemap: https://www.example.ru/sitemap.xml

2. Для проверки, что урлы разрешены вбиваем в вебмастере в Анализ Robots.txt некоторые урлы из вышеприведенных.

Результат - Все хорошо - разрешен (зеленая галочка)

3. В хелпе Я-Вебмастера написано: страницы доступны для робота (используйте инструмент Проверка ответа сервера);

Идём туда, вбиваем урл из пункта 2.

Надпись: Данныу УРЛ запрещен к индексации в файле robots.txt

Если вбивать ЧПУ урл других категорий или товаров - тут всегда: 200 OK

Почему тогда этот с фильтром ругается?

Вопросы:

1. Правильно ли открыты для индексации указанные выше урлы? Или может так нельзя посреди дизаллоу - аллоу ставить, может ниже нужно?

хотя анализ роботс.тхт говорит все ОК.

2. Проверкой ответа сервера можно проверять открытие/закрытие урла для индексации?

3. Почему если пункт 2 - говорит - ОК, страница открыта для индексации, а пункт 3 - говорит запрещен

спасибо за помощь.

Я уже и так и эдак мучаюсь. не пойму

L
На сайте с 01.11.2012
Offline
146
#1

Сидел думал, гуглил.

Хоть ты тресни не могу врубиться((

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий