Форум Поисковые системы Яндекс

Пожалуйста подскажите

ОИ
На сайте с 26.03.2010
Offline
82
Осипова Ирина Владимировн
459

Робот яндекса игнорирует директиву User-agent: * в robots.txt и не учитывает правила размещенные ниже этой директивы.

Теперь, чтобы робот яндекса не индексировал некоторые папки нужно для него писать отдельно правила и указывать User-agent:Yandex. Или я ошибаюсь???

D
На сайте с 14.10.2008
Offline
52
Domenin
#1

Не теперь, а всегда нужно было так делать.

VoV@
На сайте с 22.09.2007
Offline
196
VoV@
#2
Осипова Ирина Владимировн:
Теперь, чтобы робот яндекса не индексировал некоторые папки нужно для него писать отдельно правила и указывать User-agent:Yandex. Или я ошибаюсь???

Вы явно где-то ошибаетесь. Проверьте robots.txt в панели вебмастера.

Использовать отдельную ветку для Яндекса желательно, но не обязательно.

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
LS
На сайте с 07.02.2007
Offline
83
LanSib
#3
VoV@:
Вы явно где-то ошибаетесь. Проверьте robots.txt в панели вебмастера.

Использовать отдельную ветку для Яндекса желательно, но не обязательно.

+1

итак если все правильно составлено будет работать

- -> TOP <- -
D
На сайте с 14.10.2008
Offline
52
Domenin
#4

если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.

http://help.yandex.ru/webmaster/?id=996567#996568

Это в том случае, если используется и "User-agent: *" и "User-agent: Yandex". Если "User-agent: Yandex" не используется, то конечно можно и не указывать специально.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий