понял.. спасибо...
а если например вот так?
User-agent: *
Disallow: site.semu.ru #имя зеркала
т.е. чтобы индексировались www.site.ru и http://site.ru и не индексировал всё что начинается с имени зеркала? можно так?
Я так думаю что склеить зеркала...
черт))) *явно лезу не в свое дело*))) за что извиняюсь.... но объясните мне что я получаю в случае если в роботсе для яндекса я прописал:
User-agent: Yandex
Disallow:
Host: www.site.ru
и еще одно... ясно что сайт будет индексироваться яндексом только по ссылке www.site.ru а по http://site.ru??
как это сделать?
Интересно а если во всех каталогах адрес сайта ничинается с http:// а в роботсе прописан хост www сможет яндекс индексировать страницы заходя с таких ссылок из каталога?
спасибо, помогли... я понял что мне надо и как это сделать... :)
www.artdo.ru
http://levan3.cemu.ru
один и тот же сайт.... как мне запретить видить яндексу вторую ссылку?
