Форум Поисковые системы Яндекс

запрет страниц в роботсе

12
AboutSEO
На сайте с 18.01.2007
Offline
154
AboutSEO
#11
nay:
роботы разные, синхронизация на уровне.

в панели веб мастера есть "Исключенные страницы"
там достаточно инфо что бы сделать выводы.

вы о чем вообще говорите?

и при чем здесь исключенные, если в роботс стоит запрет на их загрузку,

т.е. робот НЕ должен загружать вообще страницы которые исключены в роботс.тхт,

а никак не наоборот - сперва загрузка а потом исключение на основании роботс.


Использование директив Disallow и Allow.

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'.

http://help.yandex.ru/webmaster/?id=996567

L
На сайте с 07.12.2007
Offline
351
Ladycharm
#12
AboutSEO:
чето я не догоняю....
либо я туплю, либо яндекс забил на роботс.

Судя по логам, Яндекс забил на него. Стоит Diasllow: /, робот Яндекса пару раз в день читает robots.txt, а потом пытается получить морду запросом GET: /.

Пришлось закрыть в движке сайта, только Яндексу даже на "404 Not Found" - всё-равно долбится.

AboutSEO
На сайте с 18.01.2007
Offline
154
AboutSEO
#13
Ladycharm:
Судя по логам, Яндекс забил на него. Стоит Diasllow: /, робот Яндекса пару раз в день читает robots.txt, а потом пытается получить морду запросом GET: /.

Пришлось закрыть в движке сайта, только Яндексу даже на "404 Not Found" - всё-равно долбится.

ппц, и эта компания требует соблюдения правил от вебмастеров, когда сама не соблюдает элементарных правил при использовании роботс.тхт.

зы: вся эта тема сводится к тому - прежде чем что-то требовать от других, соблюдайте правила сами.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий