Форум Поисковые системы Яндекс

В Яндексе отменили robots.txt ?

ЗахарOFF
На сайте с 25.05.2008
Offline
188
ЗахарOFF
877

На днях пришло письмо от них, но как я понял, изменения в роботсе коснулись только вариантов использования Allow & Disallow одновременно.

Почему же начали индексироваться ВСЕ страницы, которые исключены в роботсе?

User-agent: *

Disallow: /comment/

Disallow: /messages/

Disallow: /search/

Disallow: /profile/*/photo

Disallow: /profile/*/place

Disallow: /profile/*/review

Disallow: /profile/*/qa

Disallow: /profile/*/advice

Disallow: /add/

Disallow: /user/register/

Disallow: /user/password/

Disallow: /user/login/

Disallow: /user/logout/

Может что-то не так?

https://player.zone & https://firefly.zone
[Удален]
#1

Если я правильно понял, нужно ещё и бота указывать в User-agent. Сам до конца не понимаю что они там изменили.

Shlackbaum
На сайте с 18.08.2010
Offline
322
Shlackbaum
#2

Все так. Мегафон и другие любители анальных стимуляторов передают Вам привет.

Яндекс настолько зажрался, что уже и исключение из индекса нормально сделать не может.

Разложение этой функции ознаменовано откатом Мегафону и любителям секс-игрушек и вот еще.

Лента.Ру иронично ознаменовала это МегаФейлом:)

http://lenta.ru/news/2011/07/18/megaFAIL/

Пустота. Какого черта здесь появляется чья-то реклама?
Владимир Долгов: «Судя по YouTube поделился планами по Яндекс об автоматизированных системах
Pavel Medvedev
На сайте с 27.01.2006
Offline
166
Pavel Medvedev
#3

Возможно баг или robots.txt был недоступен. Все должно правильно обрабатываться.

yandex:
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.
Консультирую по SEO. Опыт c 2005: окна топ1,Ашан,Фишки,Спортс и др. Пишите в FB.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий