Новые правила обработки директив Allow и Disallow в файлах robots.txt

12
Letfken
На сайте с 27.04.2011
Offline
24
#11

Письмо в таком же жутком виде пришло на Gmail, а в почте Rambler нормально отображается. Я тоже была в легком замешательстве.

Позорище, блин.

Shlackbaum
На сайте с 18.08.2010
Offline
322
#12
Letfken:
Письмо в таком же жутком виде пришло на Gmail, а в почте Rambler нормально отображается. Я тоже была в легком замешательстве.
Позорище, блин.

Добавлю, что мне письмо такое пришло на Яндекс.Почту :)

Пустота. Какого черта здесь появляется чья-то реклама?
Z
На сайте с 05.02.2012
Offline
7
#13
Shlackbaum:


Добавлю, что мне письмо такое пришло на Яндекс.Почту :)

И мне...что-то я и не совсем понял что они там поменяли.

S
На сайте с 28.10.2005
Offline
304
#14

Бедные дети и так не могут полтора правила составления роботс понять и запомнить, а тут еще какие-то изменения

U
На сайте с 02.07.2011
Offline
123
#15

Наверное не стоит обращать на это внимания особого. Любое изменение вашего роботса негативно сказывается на индексации страниц (первое время), не только яндекс, но и гугл.

H
На сайте с 03.08.2005
Offline
188
#16

Вопрос по теме. Есть новостной раздел на сайте, если заходишь в раздел, то по умолчанию все новости выдаются скопом, пейджер на много страниц... Урлы выглядят так: корень - /news/, далее /news/Page01/, .../Page02/, ну и т.д....

Урлы конечных новостей выглядят так: /news/2011/03/22/news_id/

Параллельно есть рубрикатор новостей по годам/месяцам.

Урлы помесячно (март) так: /news/2011/03/

За 2011 год соотв: /news/2011/

Хочу выкинуть из индекса страницы годовые и помесячные (дублей много), но если их неловко резануть, то уйдут сами новости (урлы вложены).

В текущих реалия сработает ли такая конструкция (пример для новостей 2011 года)?

Disallow: /news/2011/* #рубит и новости за год и новости помесячно

allow: /news/2011/*/*/ #вроде бы разрешает страницы самих новостей

Услуги: программирование (/ru/forum/991783), а также дизайн и верстка (/ru/forum/996863) Продам koloda.ru $6000
[Удален]
#17
hero:
Вопрос по теме. Есть новостной раздел на сайте, если заходишь в раздел, то по умолчанию все новости выдаются скопом, пейджер на много страниц... Урлы выглядят так: корень - /news/, далее /news/Page01/, .../Page02/, ну и т.д....

Урлы конечных новостей выглядят так: /news/2011/03/22/news_id/

Параллельно есть рубрикатор новостей по годам/месяцам.
Урлы помесячно (март) так: /news/2011/03/
За 2011 год соотв: /news/2011/
Хочу выкинуть из индекса страницы годовые и помесячные (дублей много), но если их неловко резануть, то уйдут сами новости (урлы вложены).

В текущих реалия сработает ли такая конструкция (пример для новостей 2011 года)?

Disallow: /news/2011/* #рубит и новости за год и новости помесячно
allow: /news/2011/*/*/ #вроде бы разрешает страницы самих новостей

Сработает.

Для проверки сработает/не сработает, есть очень полезный инструмент - http://webmaster.yandex.ru/robots.xml

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий