Про robots.txt там ничего не сказано. Смысл есть: http://bitworking.org/news/No_Fishing. И весьма разумный, потомучто с развитием web-технологий корень сайта превращается в помойку.
