Карта сайта в robots.txt

Для сайтмапа необязательно указывать юзер агент, так как гугл тоже это понимает. Я лично делаю хитрее стравливаю sitemap.xml, а в роботс прописываю sitemap.xml.gz, и сразу видно когда и кто подцепил... т.е. тогда в яндекс вебмастер висит ссылка от пользователя и ссылка которую нашел робот :)))

User-agent: *

Disallow: /бла-бла-бла

Allow: /

Sitemap: http://www.сайт.ru/sitemap.xml //(с или без www)//

Host: www.сайт.ru //(с или без www)//

Можно и так

Sitemap: http://www.сайт.ru/папка/sitemap.xml

http://robotstxt.org.ru/

Спасибо :)

благодарю за инфу

Вообще-то, коль скоро тут раздел яндекса, и если у вас есть отдельная секция для этого поисковика, то сайтмап лучше и удобнее вынести также в отдельную секцию.

Я делаю в таких случаях так:

Собственно говоря, та же структура предлагается в хелпе яндекса (второй пример): http://help.yandex.ru/webmaster/?id=996567#996573

А теперь внимание правильный ответ.

Секции посвященные отдельным ботам идут СВЕРХУ, а не снизу.

Все параметры с новой строки, никаких разбиений, строка-разделитель только между блоками.

Яндекс может писать что угодно, только кроме него это никто больше не прописывал. Ваши сайты посещает куча роботов, имейте совесть, им же читать не удобно.

Громко сказано, но по существу неверно. Порядок секций на самом деле не имеет значения, т.к. файл robots.txt анализируется целиком и в случае нахождения подходящей "персональной" секции бот использует её. В противном случае используется общая секция.

Ну конечно. Яндекс в хелпе вполне корректные примеры дает, что характерно -- работоспособные.

Обратите внимение, там также как и у меня секции идут сверху вниз.

В мануалах Яндекс дает то, что корректно по его мнению. Вы же не будете писать хост или сайтмап для гуглбота. И даже если напишете, конечно, ничего страшного не произойдет, но мы же с Вами грамтоные люди и делаем все правильно, правда?

Понимаете, это не имеет значения. Что означает: можно ставить впереди секцию яндекса, никто не запрещает. Жесткий порядок имел бы смысл, если бы разбор роботс.тхт прекращался по нахождению первой подходящей секции. Но это не так. Он анализируется посекционно полностью.

Хост не буду, а сайтмап -- вполне. Гугл понимает эту директиву аналогично яндексу. И точно так же можно либо добавить ссылку на свой сайтмап в гугл вебмастер тулз, либо в роботс.тхт (или то и другое вместе).

Удачи вам в вашиъ начинаниях.