Форум Практика оптимизации Любые вопросы от новичков по оптимизации

как проверить robots.txt

S
На сайте с 24.11.2003
Offline
4
svelnik
470

как было написано в статьях, что файл robots.txt должен быть записан в юниксовской кодировке, вопрос в том как проверить, что робот,который заходит на сайт правильно исполняет robots.txt?

AM
На сайте с 04.11.2003
Offline
57
Arty.M
#1

http://kako.yandex.ru/cgi-bin/test-robots?host=ваш адрес без http://

ER
На сайте с 19.11.2002
Offline
107
EvgRen
#2

Проверьте здесь - http://kako.yandex.ru/cgi-bin/test-robots Это для Яндекса, но для проверки ваших вопросов вполне подойдёт.

S
На сайте с 24.11.2003
Offline
4
svelnik
#3

спасибо

C
На сайте с 19.09.2001
Offline
120
Cherny
#4
как было написано в статьях, что файл robots.txt должен быть записан в юниксовской кодировке

Что есть юниксовая кодировка?

Если подразумевается формат юникса для переводов строк, то это не имеет значения:

...separated by one or more blank lines (terminated by CR,CR/NL, or NL)...
С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий