<link> и robots.txt

зачем придумывать велосипед? положите robots.txt в корневую директорию сайта - поисковик ее найдет.

можно, но смысл?..

Про robots.txt там ничего не сказано. Смысл есть: http://bitworking.org/news/No_Fishing. И весьма разумный, потомучто с развитием web-технологий корень сайта превращается в помойку.

Тоды mod_rewrite и ложите его куда хотите

Нет.

По-умолчанию файл robots.txt должен находиться в корне сайта. Менять или указывать его путь нельзя, т.к. этот файл имеет больший приоритет чем даже главная страница сайта.

Вначале поисковый робот обращается именно к этому файлу и смотрит его директивы. Только после анализа robots.txt робот приктупает к индексированию контента сайта (если сайт разрешен для индексации).