robots.txt - требуется помощь

V
На сайте с 27.07.2008
Offline
4
405

Есть некий сайт, сделанный на юкозе. В сервисе (http://www.seolib.ru/script/express) показывается такой robots.txt

User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /main/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disal

Может кто-нибудь разъяснить, что это означает?

Mой адрес не дом и не улица, мой адрес - http://semzart.ru/ (http://semzart.ru/)
megafuck
На сайте с 08.05.2008
Offline
22
#1

Это означает, что с сайта уже снят карантин. По умолчанию роботс.тхт настроен так, чтобы не индексировались формы входа пользователей, их регистрации и пр.

S2
На сайте с 07.01.2008
Offline
613
#2

Для всех роботов закрыты папки: админка, информер, статистика, безопасность и т.п. Например site.ru/stat/ Последняя строчка не дописана.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
V
На сайте с 27.07.2008
Offline
4
#3
megafuck:
Это означает, что с сайта уже снят карантин. По умолчанию роботс.тхт настроен так, чтобы не индексировались формы входа пользователей, их регистрации и пр.
Str256:
Для всех роботов закрыты папки: админка, информер, статистика, безопасность и т.п. Например site.ru/stat/ Последняя строчка не дописана.

Благодарю за оперативную помощь)

cleverbird
На сайте с 17.03.2008
Offline
41
#4
megafuck:
Это означает, что с сайта уже снят карантин.

А какие основные признаки карантина? И в ф-ле robot.txt в частности.

осторожно, работает мозг
megafuck
На сайте с 08.05.2008
Offline
22
#5

Если сайт на юкозе (с юкозовским доменом), то на первый месяц существования сайта в конце стандартного robots.txt системой дописываются две строчки

User-agent: *

Disallow: /

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий