"Айболит 66",
режиссер Р.Быков,
песня Нормальные Герои,
музыка Б.Чайковского,
слова В.Коростылева.
Ходы кривые роет
Подземный умный крот.
Нормальные герои
Всегда идут в обход!
В обход идти, конечно,
Не очень-то легко.
Не очень-то приятно,
И очень далеко!
Но мы с пути кривого
Обратно не свернем.
А надо будет снова
Пойдем кривым путем!
Если Вы читали логи то возможно встречали там адрес который Google робот посылает при каждом запросе.
http://www.google.com/bot.html
Стандарт который только и может называться документом Вам уже нашли а все остальное не документы а толкования.
Для ясности.
http://www.robotstxt.org/wc/norobots.html
Обратите внимание на слово URL и косую черту в начале каждого пути.
Самое смешное во всем этом то что как в HTTP запросе как раз только от корня все и считается.
А кто мешает чайнику запустить на сервере Midnight Commander или похожую программу и работать со всеми удобствами?
Распаковывать под root архивы пользователей могут только камикадзе, похоже что Вы забыли про дыры в архиваторах типа обработки путей и прочих пакостей, а сколько этих дыр еще осталось никто не знает.
Ключевое слово начинающиеся,
то есть чтобы закрыть то что надо придется явно перечислять все числа потому что согласно стандарту никаких регулярных выражений робот не поймет.
Disallow: /stat/0/page/
Disallow: /stat/1/page/
Disallow: /stat/2/page/
Disallow: /stat/3/page/
...
Disallow: /stat/999/page/
Если Вы хотите чтобы robots.txt был поменьше то придется переделать сами пути к документам то есть сделать типа того как ниже где после завершающей косой черты будут числа.
Disallow: /stat/page/
А еще проще добавить в те документы которые не надо индексировать META метки NOINDEX и другие из этого набора.
Через панель пока не пробовал, везде где надо ssh есть, а нормальные панели позволяют использовать любые программы архивации с любыми параметрами без ограничения времени выполнения или только жесткий набор с ограничением времени выполнения?
Гениально, ...
