Как правильно запрещять разделы в robots.txt?

116

Babytype

25 сентября 2013, 08:16

455

Например вот такая строчка

Disallow: /admin/

Тут админка запрещена. Если зайти в вебмастер яндекса и проверить урл с админкой то будет написано, что "разрешен".

Если написать вот так Disallow: /*admin - вебмастер яндекса скажет что "запрещен правилом /*admin*"

Как правильно закрывать?

laotzi

25 сентября 2013, 18:03

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:

User-agent: Yandex

Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex

Disallow: /cgi-bin # блокирует доступ к страницам

#начинающимся с '/cgi-bin'