Специалисты, не проверите ли robots.txt

Логика хреновая.

Читайте первоисточник.

Пустая строка отделяет блоки друг от друга. Кому-то нужно побольше читать и поменьше писать.

Замена чтения первоисточноков на безудержную фантазию может завести далеко. Поэтому прошу заниматься этим самостоятельно на собственных сайтах и не писать заведомо неверные советы.

А я не дал ссылку на первоисточник? Не? ;)

гугл-перевод:

Тут что-то о секциях (блоках)?

Специально нашел пример. В какой секции тут сайтмап?

Или тут тоже ошибка?

Не было случая, чтобы ПС-ы не так определили хост или не видели сайтмап на моих сайтах :)

Кому-то стоит быть сдержаннее. Тем более в этом разделе.

Нет. Это краткая справка особенностей Яндекса для чайников.

Сайтмап может быть общим для всех поисковиков. Вы прость прыгаете на своих любимых граблях. Почему вы упорно не желаете брать информацию в первоисточнике?

Мало ли что написано на сарае (а внутри дрова) , читайте первоисточники. Вы можете обманывать самого себя сколько угодно, но не надо пытаться дезинформировать публику, особенно в этом разделе.

Здравствуйте, я хочу помочь вам подправить файл robots.txt. Надеюсь, что помог вам...

User-agent: YandexBlog

Disallow:

User-agent: *

Sitemap: http://site.ru/sitemap.xml.gz

Sitemap: http://site.ru/sitemap.xml

Allow: /wp-content/uploads

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Host: site.ru

Блинн.. Повторю:

Ладно, проехали.

А я не это самое показал в примере? :)

Теперь получается указывая сайтмап можно (и нужно!), отделять пустой строкой.

А host?

Ок, спрошу - где написано, что host не будет учитываться ПС, если он отделён пустой строкой?

http://help.yandex.ru/webmaster/?id=996567#996574

Отдельностоящая:

Если вы откроете, то найдете в примерах, как использовать директиву Host: .

И во всех примерах она идет внутри блока, нет ни одного примера, где она оторвана.

Ладно, с хостом разобрались. Вот это можешь объяснить, мусьё помощник:

Чем первая отличается от второй? Или вторая от первой...

И смысл этого:

В данном примере ошибка состоит в том, что не указан юзер-агент.

Согласен - тут ничего не сказано можно\нельзя отделять директиву Host пустыми строками. Но выше я уже приводил цитату из этой "справки для чайников", где указано чего нельзя отделять. Хоста там нет. А значит - можно (какой бы хреновой логикой кому-то это не казалось ;) ). Или же точно нельзя, не будет учитываться? Где об этом что-то сказано?

Больше навредил

Непонятно, зачем на этом так зацикливаться, если заведомо известно, как сделать так, чтобы точно работало.

Надо просто сделать как в мануале и все, и не пытаться противоречить простым стандартам, пусть они даже и на другом языке.

Экспериментируйте, пожалуйста, на себе, а не устраивайте провокации для новичков.

В том-то и дело, что противоречий нет.

Если кто хорошо знает английский - может прочитать, что секции для ботов определяются по User-agent (вот перед ним должна быть одна или несколько пустых строк). От одного User-agent до следующего или конца файла.

Более того - в "классическом" роботс.тхт только одна директива - Disallow. Если не ошибаюсь - Гугл ввел поддержку Allow. Потом и другие боты начали его поддерживать. Все остальное каждый бот волен по своему понимать.

Но основное.. правило (если угодно) - от вся секция User-agent является рекомендацией для конкретного бота. И только для него. (только * - как бы для всех, но яндекс - он особенный ;) )