GOOGLe и Robots.txt

Когда вы указываете роботу поисковиков, что обращаться к данной странице не нужно, он предотвращает доступ паука к странице. По существу страница просматриваться не будет, поэтому ссылки с этой страницы не будут передавать вес (поскольку поисковый движок ссылок не видит).

Однако страница может находиться в индексе. Такое может произойти, если на данную страницу есть ссылки с других страниц (как внешние, так и внутренние). В результате такие страницы все-таки попадают в выдачу и выглядят без описаний, только URL. Примерно вот так - ссылка. Это происходит потому, что паукам не разрешается читать страницу, чтобы получить данные, но, тем не менее, эти страницы в индексе поисковика.

Более детально почитать про robots.txt можно на официальном сайте.

это гугл. тоже на новом сайте все сожрал, сейчас что-то начал выплевывать, закрытое в роботсе

Хотелось бы еще добавить, что париться не зачем. По собственному наблюдению то ,что закрывалось в robots.txt и все равно находилось в индексе Гугла, никак не влияло на нормальные страницы (и даже помогало в борьбе с дублями). И со временем такие страницы могут полностью удалиться сами. Но не факт, т.к. мощности Гугла позволяют держать такие страницы в своем индексе, на всякий случай.

По поводу дублей и борьбы с ними, есть много способов, и robots.txt, кстати, не самый приоритетный. Первое, что лучше всего сделать - это 301 редирект, второе - прописать канонический линк, потом уже все остальное.