Форум Практика оптимизации Любые вопросы от новичков по оптимизации

изменения в robots.txt файле

V1
На сайте с 03.03.2012
Offline
3
vseznaika1
364

Добрый день сегодня от яши получил такое письмо

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Пожалуйста разъясните как это проверить и что нужно сделать чтобы не было проблем. Сайту моему уже 5 лет все было хорошо, все там уникально. Но начиная с 29 февраля стали результаты проседать. До 29 марта было стабильно 500 уников сегодня уже 150. Быть может это связано как-то с вышеупомянутыми правилами. Да страниц в индексе яши 1700 в гугле 2600

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#1

/ru/forum/678083

Это означает что не будет учитываться порядок следования директив как раньше, а какая из них больше содержится в запрашиваемом урле. У вас есть директивы в роботсе с allow? С позициями можете не переживать, этот не связано, разве что у вас на сайте сложная система запретов из allow и disallow, и вследствие изменений стали достпны/недоступны некоторые адреса. В гугле давно уже действует подобный алгоритм

Яндекс внес изменения в Новые стандарты для директивы Решена проблема бана сайтов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий