Насчет уникальности контента:
http://www.yandex.ru/yandsearch?text=%CD%EE%E2%EE%F1%F2%ED%E0%FF+%EF%EE%E8%F1%EA%EE%E2%E0%FF+%F1%E8%F1%F2%E5%EC%E0&stype=www
это тоже бан? :)
самый правильный вариант сказал Лёлик, а именно:
User-Agent: Yandex Disallow: Host: www.site1.ru User-Agent: * Disallow:
тут расписано все подробнейшим образом http://mastertalk.ru/topic6726.html
Думаю это может помочь :)
http://www.google.ru/support/webmasters/bin/answer.py?answer=34448&topic=8460
FAQ от гугла здесь: http://www.google.ru/support/webmasters/bin/topic.py?topic=8843
а вроде как бегун входит в Рамблер
