Форум Сайтостроение Веб-строительство

robots.txt и регистр букв

antono
На сайте с 12.07.2004
Offline
304
antono
1333

Нигде не нашел информацию - в файле robots.txt регистр не важен или все таки важен? Если адреса идут большими буквами, то в роботсе тоже нужно писать большими?

На одном сайте с урлами в верхнем регистре никак яндекс не хочет удалять. В роботсе они запрещены в нижнем регистре. Другие поисковики эти страницы не индексирют. Выходит что яндекс один учитывает регистр в роботсе?

Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#1

Для Google - учитывается регистр:

При вводе URL учитывается регистр. Например, Disallow: /private_file.html заблокирует страницу http://www.primer.ru/private_file.html, однако разрешит сканирование страницы http://www.primer.ru/Private_File.html.

http://www.google.com/support/webmasters/bin/answer.py?answer=40362&topic=8846

Для Яндекса, к сожалению, не нашел. Но поскольку для URL учитывается регистр, то он должен учитываться и в соответствующих полях robots.txt.

www.shtogrin.com (http://www.shtogrin.com/). Канцтовары (http://www.invit.com.ua/). 1С Бухгалтерия (http://account.kiev.ua/).
E
На сайте с 29.03.2007
Offline
102
egorych
#2

По спецификации роботса регистр важен, как и количество и положение пробелов и пустых строк. Все важно. Почитайте официальные документы.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий