потому что
на виртуальном хостинге это, действительно, очень экзотическая услуга. Удовлетворив потребности одного клиента (с анлимом доменов, поддоменов и т.п.) можно усадить кучу других, которые, в итоге, будут требовать перенести их ресурсы на другой сервер или сбегут :)
а отчего сомнения? для чего ж тогда такая функция существует?
я о вот этой папке
Защищать надо, коль в роботсе указали явно :)
это папка от сапе просто-напросто..
Уважаемый. поверьте, мне все равно на ваш сайт, на тип его построения и его шаблоны. Я открыл код, увидел, скопировал и показал вам. смотрите, ищите. если вам не нужно указывать на ваши же ошибки, извините пожалуйста, я удалюсь...
там еще интереснее есть :)
http://www.shram.kiev.ua/ads/admin.php
юзайте поиск. есть темы по _правильному_составлению robots.txt
p.s.насчет <noindex> - как я и предполагал - на внутряках дофига где он закрывает <br>, но не ссылки :)
дубль............
Да в первой попавшейся странице, на которую попал беспорядочно покликав по вагону ссылок на сайте :)
Вот данная страница: http://www.shram.kiev.ua/site/xara3/
p.s. сомневаюсь, что случай единичный...