Вы не правы.
В файле robots.txt проверяется наличие записей, начинающихся с "User-agent:", в них ищутся подстроки "Yandex", либо "*", причем, если обнаружено "User-agent: Yandex", директивы для "User-agent: *" не учитываются.
Пора привыкнуть. Это происходит на все праздники и юбилеи великих людей.
Не вопрос. Велкам:
http://www.ya.ru/
http://yandex.ru/white.html
http://yandex.ru/black.html
Все более или менее крупные ПС (кроме Рамблера).
Склеит как зеркала.
Зачем, можно поинтересоваться?
А вы-то здесь причём?
Например, при активированном сервисе "Мои находки" ссылки в результатах поиска становятся редиректными.
Переходы на сайт по редиректным сылкам из:
1) результатов поиска;
2) системы Яндекс.Маркет.
Зададите поисковому роботу, поддерживающему данную директиву, минимальный период времени между концом закачки одной страницы и началом закачки следующей равный 10 секундам.
Страшно?
