Подскажите, есть ли разница в деление файла на разных роботов и составление файла для всех? Я имею ввиду (пример):
User-Agent: Yandex
Disallow: /admin
Disallow: /form
Host: abc.ru
Sitemap: http://abc.ru/sitemap.xml
User-Agent: Google
User-Agent: *
или
Можете объяснить в каких случаях лучше использовать тот или иной вариант? Т.к. я разницы сейчас не вижу.
А редирект со всех страниц поддомена на морду делать? И как быть в ситуации если инфа с поддомена не соответствует тематике главного сайта?
