Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt не получается настроить

S
На сайте с 22.02.2011
Offline
28
Seolafa
433

Есть сайт и вот его Robots.txt

Не могу понять, почему в панели яндекс вебмастер при проверке показывает что

http://hotbanya.ru/forum/viewtopic.php разрешен к индексации
а
http://hotbanya.ru/wp-admin запрещен правилом /wp-admin

Что-то не так с Robots.txt ??

[Удален]
#1

Правильно, яндекс действует, как и указано в его блоке.

S
На сайте с 22.02.2011
Offline
28
Seolafa
#2

так ведь потом есть блок User-agent: *

или яндек его не видит уже?

Dimonka
На сайте с 09.09.2009
Offline
60
Dimonka
#3

forum/viewtopic.php$

forum/viewtopic.php

Разницу чувствуем?

Star Citizen - самый дорогой космосим (http://star-citizen-ru.ru)
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
Dimonka:
forum/viewtopic.php$

Где это у него?

Dimonka
На сайте с 09.09.2009
Offline
60
Dimonka
#5
kimberlit:
Где это у него?

Там же, не?

http://gyazo.com/1c696766c338217bf98833996d43cff3

S
На сайте с 22.02.2011
Offline
28
Seolafa
#6

вообщем там проблема была в том, что в блоке User-agent: Yandex небыло запрета на /forum/viewtopic.php

запрет был только в блоке

User-agent: *

теперь все изменили и теперь все закрыто от индексации!

[Удален]
#7
Seolafa:
так ведь потом есть блок User-agent: *
или яндек его не видит уже?

Конечно! ☝

Сорри за любопытство, а почему такая разница в закрытии папок и файлов для разных ботов?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий