Составить robots.txt

12
G
На сайте с 07.09.2008
Offline
124
1748

Нужно составить Файл robots.txt

Указать чтобы главной страницой сайта является http://site.by а не http://www.site.by

И указать Ссылку на карту сайта.

Попытка сделать самому

User-Agent: *

Disallow:

Host: site.by

Allow: /

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

Правильно ли я написал?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

User-agent: Yandex

Disallow:

Host: site.by

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

User-agent: *

Disallow:

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

G
На сайте с 07.09.2008
Offline
124
#2
kimberlit:
User-agent: Yandex
Disallow:
Host: site.by
Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

User-agent: *
Disallow:
Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

а в чем разница первого и второго варианта, заранее спасибо

goacher добавил 01.02.2010 в 18:57

мне нужно указать главное зеркало и ссылку на карту сайта и все

kimberlit
На сайте с 13.03.2007
Offline
370
#3

Первая секция для Яндекса, другая для остальных. Пишется всё в одном файле.

S2
На сайте с 07.01.2008
Offline
611
#4
kimberlit:
Первая секция для Яндекса, другая для остальных. Пишется всё в одном файле.

Sitemap: имеет смысл указывать только во 2-й секции. То есть:

User-agent: Yandex
Disallow:
Host: site.by

User-agent: *
Disallow:
Sitemap: http://site.by/sitemap.xml
Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
S
На сайте с 28.10.2005
Offline
318
#5

User-agent: Yandex

Disallow:

Host: site.by

User-agent: Googlebot

Disallow:

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

User-agent: *

Disallow:

Sergover
На сайте с 12.10.2009
Offline
57
#6
Str256:
Sitemap: имеет смысл указывать только во 2-й секции. То есть:

Да с чего это только во второй - Яндекс что перестал карту сайта в xml понимать?

читайте техподдержку Яши:

http://help.yandex.ru/webmaster/?id=996567#996573

Директива Sitemap.

Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml, в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все), примеры:

User-agent: Yandex

Allow: /

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml

или

User-agent: Yandex

Allow: /

User-agent: *

Disallow: /

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml

Робот запомнит пути к sitemaps.xml, обработает файлы и будет использовать результаты при последующем формировании сессий закачки.

Sergover добавил 01.02.2010 в 19:41

User-Agent: Yandex

Disallow:

Host: site.by

Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

User-Agent: *

Disallow:

Этого хватит...

А вот если вы хотите запретить какие либо страницы и у вас есть команды со звездочкой /*search например то нужно еще добавить секцию GoogleBot и в ней и в Yandex прописать, а вот в третьей уже не указывать комманд со звездами так как не все поисковики понимают звездочку.

Магазин аккаунтов с балансом Litres,DNS,Ozon,Rotapost и еще 50+ других сервисов тут - vk.cc/7QK0Sk
S2
На сайте с 07.01.2008
Offline
611
#7
Sergover:
Да с чего это только во второй - Яндекс что перестал карту сайта в xml понимать?
читайте техподдержку Яши:

Сами почитайте. Если бы у вас были бы свои сайты, знали бы, что он прекрасно видит эту строчку, если она указана в блоке для всех роботов и нет надобности её дублировать отдельно.

Sergover
На сайте с 12.10.2009
Offline
57
#8
Str256:
Сами почитайте. Если бы у вас были бы свои сайты, знали бы, что он прекрасно видит эту строчку, если она указана в блоке для всех роботов и нет надобности её дублировать отдельно.

Я и не говорил про дублирование - просто смысле ее размещение априори имеет место ( если конечно она есть) и все равно в какой секции.

А сайты у меня есть и не один;)

S2
На сайте с 07.01.2008
Offline
611
#9
Sergover:
User-Agent: Yandex
Disallow:
Host: site.by
Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml

User-Agent: *
Disallow:

Этого хватит...

Ага, как же хватит. Sitemap указали в секции только для Яндекс робота, а как другим быть?

Sergover
На сайте с 12.10.2009
Offline
57
#10
Str256:
Ага, как же хватит. Sitemap указали в секции только для Яндекс робота, а как другим быть?

Гоша возьмет как раз из секции яндекса прекрасно - а скорее всего он просто найдет ее на сайте если еще этого не сделал - а для яндекса нужно указывать.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий