Вопрос о robots.txt

Так нужна пустая строчка или не нужна? Я всегда считал, что нужна, хоть и не помню, откуда это взялось. Как на самом деле?

Пустая строка нужна между секциями, а Host входит в секцию Яндекса.

Поискал авторитетный источник. Вот он: http://help.yandex.ru/webmaster/?id=996567

Там черным по белому сказано, цитирую,

Хотел спросить у Kost, в чем дезинформация от iren K. И только потом, перечитав, понял, что речь шла про пустой перевод строки перед Host. Тогда, конечно, это неверно.

А в конце файла перевод строки нужен или недопустим? Просто по опыту работы с конфигурационными файлами Windows знаю, что в ряде случаев он просто необходим.

DenisVS добавил 06.06.2010 в 00:11

И ещё по поводу примера

User-Agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /comment/
Disallow: /forum
Disallow: /comments/
Disallow: *?feed=
Disallow: *?s=


User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /comment/
Disallow: /forum/
Disallow: /comments/
Disallow: *?feed=
Disallow: *?s=

Host: ****.ru
Sitemap: http://****.ru/sitemap.xml

Здесь "Host:" и "Sitemap:" прописаны после объявления "User-agent: Yandex". Чем это может грозить?

Чтобы лишнюю тему не создавать, подскажите кто-нить можно ЛИ как-то гуглу запретить передавать вес ссылки с сайта А на сайт Б с помощью роботса или метаданных страницы? (без rel=nofollow)

заранее спасибо.

Нельзя, а если с nofollow, то

для передачи веса

<meta name="robots" content="follow" />

для запрета

<meta name="robots" content="nofollow" />

Прошу знающих прокомментировать это сообщение.

1. Не нужен.

2. Ничем. Хост понимает только яндекс, там ему и место. Ситепам следует перенести в Юзер *.

Если инструкции для яндекса ничем не отличаются от набора правил для других ботов, хост можно написать в общию директиву.

User-Agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback/

Disallow: /feed/

Disallow: /tag/

Disallow: /comment/

Disallow: /forum

Disallow: /comments/

Disallow: *?feed=

Disallow: *?s=

Sitemap: http://****.ru/sitemap.xml

Host: ****.ru