Все вопросы по robots.txt - 2

Ребята подскажите плиз, пришёл клиент по Контексту и вижу такое первый раз в жизни. Статистика за год, траффик с ПК 99%, у всех клиентов мобил траффик от 20 до 70%. Может быть причина в Роботе.txt?

Очень даже может быть, но фаза луны надежнее.

Хм про Луну то я и забыл!:kozak: Благодарю:)

Добрый день. Подскажите плиз.

Есть сайт site.ru

У него есть урлы вида site.ru/dir1/dir2/dir3/ и так далее.

Я хочу оставить не закрытыми dir 1 и dir 2 при том, что они разные всегда (то есть может быть так site.ru/dir01/dir02/dir3/ или site.ru/dir001/dir002/dir3) их тысячи

Как мне закрыть dir3 и все что глубже при этом не закрыть уровни 1 и 2

Я пробовал вот так:

User-agent: *

Disallow: /*/*/

Яндекс говорит, что все ок, но карта сайта генераторами не собирается.

Так у Вас проблема с роботс или с картой сайта?

Проблема в том, что Яндекс проверка роботс говорит, что все верно. А генераторы сайт меп останавливаются на /dir1/ при таком роботс.

Atony, Закройте только для Яндекса на время, соберите карту сайта, потом уберете строку User-Agent. Все ведь элементарно.

User-agent: Yandex

Disallow: /*/*/

Да нет, тут вопрос не в карте сайта. А в том, будет ли dir3 и глубже индексироваться поисковыми системами при таком robots, задача его не индексировать, а dir1 и dir2 разные всегда.

Нет, не будет.

Atony, если вам нужно закрыть только начиная с 3-его уровня, то надо 3 звёздочки:

User-agent: *

Disallow: /*/*/*/