Новые правила обработки директив Allow и Disallow в файлах robots.txt

12
Shlackbaum
На сайте с 18.08.2010
Offline
322
3844

Пришло письмо буквально такого содержания (вместе с таким кодом):

<p>
Добрый день!
</p>

<p style="margin-top: 1em">Уведомляем вас об изменениях в обработке директивы 'Allow' файла <a href="http://help.yandex.ru/webmaster/?id=996567">robots.txt</a>, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.</p>

<p style="margin-top: 1em">По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.</p>

<p style="margin-top: 1em">Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша <a href="http://webmaster.yandex.ru/robots.xml">форма проверки robots.txt</a>.
</p>

<p style="margin-top: 1em">Подробнее об использовании директив вы можете прочитать в <a href="http://help.yandex.ru/webmaster/?id=996567#996571">Помощи</a>.

<p style="margin-top: 1em">
--<br>
С уважением,<br>
Яндекс.Вебмастер<br>
<a href="http://webmaster.yandex.ru">http://webmaster.yandex.ru</a>
</p>

<p style="margin-top: 1em">
ЭТО ПИСЬМО ОТПРАВЛЕНО ПОЧТОВЫМ РОБОТОМ, ПОЖАЛУЙСТА, НЕ ОТВЕЧАЙТЕ НА НЕГО.
</p>

Начну обсуждение с собственно кривости письма для вебмастеров. Там давно пора кого-нибудь поувольнять.

Цифровая подпись верна
Письмо отправлено с домена yandex.ru
Пустота. Какого черта здесь появляется чья-то реклама?
D7
На сайте с 06.12.2010
Offline
69
#1

Мне пришло письмо с нормальным содержанием....

Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.
series60
На сайте с 03.02.2009
Offline
92
#2

Shlackbaum,

В таком же формате пришло. Был удивлен.

TheVS
На сайте с 27.12.2006
Offline
467
#3
проверьте их на соответствие новым стандартам

Интересно с какик это пор яндекс уже начал стандарты определять.

🍄 Видео-реклама на ваших сайтах: https://bit.ly/ads_for_video
Drakasmit
На сайте с 21.05.2008
Offline
90
#4
TheVS:
Интересно с какик это пор яндекс уже начал стандарты определять.

Это их внутренние стандарты :)

Торт
S
На сайте с 14.06.2011
Offline
28
#5

Просьба...ткните кто-нибудь в реальные стандарты...где сказано про использование Allow и Disallow вместе; про Disallow нашел, про Allow нет..

PS: письмо нормальное пришло.

--------------------

Нашел только это ->

Ниже примеры - сначала Allow потом Disallow, т.е. порядок написания имеет значение...

Сомневаюсь, что стоит переписывать свои роботсы по якобы "новым стандартам", пока оставил так как есть.

Бельфегор
На сайте с 24.11.2011
Offline
25
#6

Да блин, щас у кого-то сайты под агс полетят, за появившиеся дубли.

Ждем следующего нововведения: Новые правила русского языка 🤪

M
На сайте с 21.10.2009
Offline
67
#7

Глупо в существующих условиях эти правила вводить: яндекс апает два раза в месяц, да и то лично у меня robots.txt игнорирует почему-то.

U
На сайте с 02.07.2011
Offline
135
#8

И как сейчас правильно составить robots.txt для сайта вордпресс?

R7
На сайте с 30.04.2008
Offline
264
#9

чтобы не попасть впросак - проверяем урлы через вебмастер - роботс - и всё ок.

S
На сайте с 28.10.2005
Offline
319
#10
Shlackbaum:
Начну обсуждение с собственно кривости письма для вебмастеров. Там давно пора кого-нибудь поувольнять.

не мудрено: Content-Type: text/plain; charset=Windows-1251

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий