Запрет к индексации папок в robots.txt

Разницы нет.

--

Тупанул!

Если админка находится по адресу site.ru/admin, а в robots написано Disallow: /admin/, то директория будет индексироваться.

А если наоборот: site.ru/admin/, Disallow: /admin, то все ок.

/admin/ запрет директории и всех файлов в ней

/admin запрет директори и всех файлов в ней + ВСЕХ файлов в других директориях, которые начинаются с admin....

В других директориях на всем сайте или именно в папке admin?

насколько я знаю - на всем сайте

на всем сайте

а вообще проверять можно с помощью http://webmaster.yandex.ru/robots.xml

или например, можете проверить запрет к индексации через аддурл яндекса

и все сомнения развеются :)

Важно помнить, что знак "/" для робота имеет такие-же права как и другие знаки.

Т.е это просто знак а не разделение папок, знак окончания адреса, знак разделение и т.д.

прошу помочь разобраться: в интернете нашла обучение правильному составлению robots, и автор говорит о том, что в этот файл не надо включать никаких директив, касающегося системных, служебных и технических файлов. те не нужны все эти директивы Disallow: /wp-login.php, Disallow: /wp-register.php, Disallow: /wp-content/, Disallow: /wp-admin/, Disallow: /wp-includes/

автор называет их абсурдными, он говорит "все поисковые системы давно научились отсеивать информацию, не относящуюся к контентной составляющей и прекрасно знают как движки генерируют страницы любого сайта. Не имеет смысла загружать файл robots.txt директивами по отношению к техническим папкам и файлам. Сами посудите — какой прок поисковику держать в своём индексе ваши странички для ввода логина и пароля! "

---------------------------- delete

PartW, при составлении роботса не думай о директориях и файлах, а думай о соответствии символов в директивах и символов в адресах. Многое сразу станет ясным.

Какой прок - это одним поисковикам известно. А держать они в индексе подобные страницы могут легко. Закрывайте все служебные страницы.