Почему запрет через robots.txt ошибка для Yandex?

FM
На сайте с 18.06.2009
Offline
31
680

Ребята, привет всем.

Некоторое время в своей панели веб-мастера Yandex наблюдал для rss сообщения о "неподдерживаемых форматах файлов", запретил для индексации фиды: Disallow: /*feed* теперь Yandex сообщает об ошибках "Документ запрещен в файле robots.txt".

Собственно, вопрос - почему Yandex считает запрет страниц для индексации через robots.txt ошибкой? Заранее спасибо :)

neznaika
На сайте с 28.06.2006
Offline
356
#1
FiMko:
почему Yandex считает запрет страниц для индексации через robots.txt ошибкой?

Потому как ползун не может выполнять свои прямые обязанности на этой странице. 🍻

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.
FM
На сайте с 18.06.2009
Offline
31
#2
neznaika:
Потому как ползун не может выполнять свои прямые обязанности на этой странице. 🍻

😂 ну это да, понятно, но как же это подло с его стороны 😎

Это, я так понимаю, никак не лечится? Он, кстати, не на все страницы запрещенные в robots таким образом ругается.

S2
На сайте с 07.01.2008
Offline
611
#3
Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
FM
На сайте с 18.06.2009
Offline
31
#4

Да что-то по теме, но у меня и не только для фидов такая фигня, короче, кажется, все просто ложат на эти ошибки :)

Вообще сообщения об ошибках в Yandex тема развеселая, был раздел на сайте, пришлось поменять урл (структуру сайта пришлось менять), с тех пор все страницы из того прежнего раздела Yandex добавил в раздел Ошибки с комментарием Страница не найдена, логично, конечно, но странно, что висят они теперь уже в ошибках несколько месяцев, пора бы может и понять, что они не вернутся.

Ну а если указать явно, что ресурс перемещен туда-то туда-то навсегда, то это уже новая ошибка получается =)

S2
На сайте с 07.01.2008
Offline
611
#5

Старые страницы запрещаете в роботсе, потом удаляете через деурл. И всё быстро вылетает. Если вы какие-то замечания не считаете ошибками - отключите их отображение, чтобы нервы не трепать:)

FM
На сайте с 18.06.2009
Offline
31
#6
Str256:
Старые страницы запрещаете в роботсе, потом удаляете через деурл. И всё быстро вылетает. Если вы какие-то замечания не считаете ошибками - отключите их отображение, чтобы нервы не трепать:)

Опа, Str256, спасибо. А где деурл искать, ни разу не видел этой примочки :) ?

S2
На сайте с 07.01.2008
Offline
611
#7
FiMko:
А где деурл искать

http://webmaster.yandex.ru/delurl.xml

В Гугле из аккаунта.

FM
На сайте с 18.06.2009
Offline
31
#8
Str256:
http://webmaster.yandex.ru/delurl.xml

В Гугле из аккаунта.

Большое спасибо :) !

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий