Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

12
fan
На сайте с 08.07.2005
Offline
142
fan
#11
dann:
НЕ нашел ответа - что такое в robots строка такого типа: host: www.site.com

Вот здесь подробно описано: http://robotstxt.org.ru/rurobots/yandex#h79-4

dann
На сайте с 21.05.2006
Offline
178
dann
#12
fan:
Вот здесь подробно описано: http://robotstxt.org.ru/rurobots/yandex#h79-4

Понял для чего, не понял смысл. Если у меня сайт без www, ссылки на него без www, как мне лучше написать эту строчку

K
На сайте с 31.01.2001
Offline
737
Kost
#13

Да пофиг, как ссылки. Главное, какое зеркало вы хотите видеть в поиске.

Flint:
что считать основным доменом

Вот это туда и напишите.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
M
На сайте с 10.02.2007
Offline
74
mavpa
#14

Если у Вас всё заточено без www, следует написать:

User-Agent: Yandex

Disallow:

Host: site.ru

dann
На сайте с 21.05.2006
Offline
178
dann
#15
mavpa:
User-Agent: Yandex
Disallow:
Host: site.ru

Что означают эти строки , особенно первая

R
На сайте с 11.03.2005
Offline
49
rogatkin
#16
dann:
Что означают эти строки , особенно первая

означает для какого робота нижеприведенная инструкция.

в принципе я пишу так

User-Agent: * - звездочка - для любых роботов
Disallow: -запрещений нет
обязательная, пустая строка, между инструкциями для разных роботов
User-Agent: Yandex - для робота яндекса
Disallow: -запрещений нет
Host: site.ru -параметр Host только для робота яндекса

слова написаные коричневым цветом в роботсе не писать! :)

[Удален]
#17

Host - это основной домен сайта, если у вас их несколько yandex будет считать его главным, все остальные поклеются по нему..

R
На сайте с 11.03.2005
Offline
49
rogatkin
#18

проверить правилность написания роботса для яндекса можно с помощью валидатора яндекса для роботсов:

http://www.yandex.ru/cgi-bin/test-robots?host=www.site.ru

или

http://www.yandex.ru/cgi-bin/test-robots?host=site.ru

[Удален]
#19
rogatkin:

User-Agent: *
Disallow:

User-Agent: Yandex
Disallow:
Host: site.ru

Лучше яндекса вверх перенести, а то может и не дочитать :)


User-Agent: Yandex
Disallow:
Host: site.ru

User-Agent: *
Disallow:
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий