burunduk, я понял о чем вы, действительно robots.txt не панацея от данной проблемы.
Но не все такие запросы умеют делать в Яндекс
спасибо, попробую на вкус
только вот вопрос не так ставился :)
burunduk, как вы найдете ссылки на сайт (сайт не ваш, а допустим конкурента т.е. мы исключаем возможность поюзать вебмастера-яндекса) если доноры имеют вышеприведенный robots.txt ?
что вы собрались выкачивать в этом случае ;) ?
впринципе на всё есть бумажка.
если не лень вычитайте пункт 7.4.4 http://www.w3.org/TR/html401/struct/global.html#h-7.4.4
там вроде чего то написано
Если брать за пример http заголовки, то впринципе порядок следования есть.
Хотя браузеры (и наверное поисковики) поймут любой порядок. Короче можно не париться над этим.
тогда методом тыка. только сохраняйтесь предварительно
или подобными программами размножайте.
подведем итог
для закрытия от просмотра исходящих ссылок данного сайта, на нем размещаем robots.txt следующего содержания:
User-agent: * Disallow: /data/ User-agent: Slurp Disallow: / User-agent: MSNBot Disallow: / User-agent: Teoma Disallow: / User-agent: Scooter Disallow: / User-agent: Lycos Disallow: / User-agent: Aport Disallow: / User-agent: WebAlta Disallow: /
спасибо всем кто помог
ссылки можно зарыть только с ваших сайтов.
вы хоть бы почитали что зацитировали у меня
неплохо.
но альтернатив бесплатных хватает
