1. Неправильно
2. А был когда-то такой YahooBot?
Присоединяюсь к поздравлениям!
Желаю всего самого наилучшего!
Раньше робот Рамблера пытался забрать документы, адрес которых лежит в параметре action тега form.
Кто-то даже писал, что робот Рамблера регулярно делает крупные заказы в интернет-магазине, но расплачиваться не хочет. :)
В свое время Яндекс считал мета-редирект с нулевой задержкой равноценным серверному редиректу, как сейчас -- не знаю, давно уже с мета-редиректами дела не имел. ;)
shmugl, ваш robots.txt составлен неверно, вот правильная версия
User-agent: * Disallow: User-agent: StackRambler User-agent: Yandex User-agent: Aport User-agent: BaiDuSpider User-agent: mnoGoSearch User-agent: udmsearch Disallow: /
Второй вариант
Перевод строки в robots.txt по стандарту может быть любым:
Phantom, RTFM
Phantom, никак, только link:www.site.com
Правильно так:
linkdomain:www.site.com -site:www.site.com
