Форум Поисковые системы Яндекс

Новые правила оформления robots

Кицунэ
На сайте с 10.07.2009
Offline
27
Кицунэ
1674

Яндекс сообщил, что теперь новые правила использования директивы allow

http://webmaster.ya.ru/replies.xml?item_no=11833

В связи с чем, я не могу понять, как же запретить в роботсе раздел сайта, кроме нескольких страниц?

Если раньше можно было прописать:

User-agent: Yandex

Allow: /search?id_type[]=1&id_cat[]=2

Disallow: /search

И из индекса уйдет весь раздел /search, кроме указанной страницы

То по новым правилам,

"Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему)"

т.е. первым станет Disallow и никакого исключения не получится.

Как же сделать правильно?

P
На сайте с 08.04.2010
Offline
34
pfilippov
#1

может имеются в виду однотипные директивы?

[Удален]
#2

Скорее всего имеются ввиду директивы, относящиеся к одной странице (и Allow, и Disallow).

Они отсортируются по длине префикса урла и будут применяться последовательно.

Получится, что будут применяться все правила. Но в конечном итоге, для конкретного урла будет действовать более специфичное, длинное правило.

ТС, в вашем примере разрешенная страница так и останется разрешенной.

Вообще да, примеров от Яндекса не хватает. Будем надеяться, они вскоре в свой хэлп по роботсу обновят.

Новые стандарты для директивы Яндекс внес изменения в Google: сигналы noindex и
G
На сайте с 07.06.2010
Offline
18
grdanik
#3

Кицунэ, http://webmaster.yandex.ru/robots.xml - вот здесь можно все проверить)))

Кицунэ
На сайте с 10.07.2009
Offline
27
Кицунэ
#4
grdanik:
Кицунэ, http://webmaster.yandex.ru/robots.xml - вот здесь можно все проверить)))

Я в курсе, но новые правила вступят только через "несколько недель", а роботс мне нужно написать уже сейчас. :\

S
На сайте с 28.10.2005
Online
318
semenov
#5

> Такое изменение позволит нам соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем

Не прошло и полгода, и они решили все-таки типа следовать международным стандартам

Нас терзают смутные сомнения, что Я и Г, как и раньше, будут по разному интерпретировать комбинации Allow/Disallow

Новые стандарты для директивы Помогите разобраться с robots.txt Яндекс теперь поддерживает директиву

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий