Форум Поисковые системы Яндекс

robots.txt и Яndex

1 234
T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#31
baltic13:
host в стандарте нет, это расширение. поэтому для Яндекса отдельно и следует писать.

Скажите, Вам хочется "по стандарту", или "чтобы работало"????

Т.к. robots обрабатывается последовательно, то директива Host, которая стоит в конце, не мешает парсерам правильно применить параетры, которые уже обработались.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
B1
На сайте с 04.07.2006
Offline
44
baltic13
#32
T.R.O.N:
Скажите, Вам хочется "по стандарту", или "чтобы работало"??
Т.к. robots обрабатывается последовательно, то директива Host, которая стоит в конце, не мешает парсерам правильно применить параетры, которые уже обработались.

конечно, чтобы работало. и при том надежно.

Если файл /robots.txt пуст, или не отвечает заданному формату и семантике, или его не существует, любой поисковый робот будет работать по своему алгоритму.

это из стандарта.

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#33
baltic13:
это из стандарта.

Верно... он отвечает синтаксису и стандарту ФАЙЛА!

B1
На сайте с 04.07.2006
Offline
44
baltic13
#34
T.R.O.N:
Верно... он отвечает синтаксису и стандарту ФАЙЛА!

host не стандарт!

для яндекса стандарт, для остальных нет!

albion
На сайте с 07.10.2005
Offline
247
albion
#35

baltic13, Не спорьте.

Для Яндекса конструкция

User-Agent: *

Disallow: /contacts/

Disallow: /tmp/

Host: ispets.ru

верна, а для других поисковиков - нет.

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#36
baltic13:
host не стандарт!
для яндекса стандарт, для остальных нет!

Вы понимаете что такое синтаксис файла, и чем он отличается от синтаксиса команд?

B1
На сайте с 04.07.2006
Offline
44
baltic13
#37
albion:
baltic13, Не спорьте.
Для Яндекса конструкция

User-Agent: *
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru

верна, а для других поисковиков - нет.

/ru/forum/comment/2353823 не одно и то же?

B1
На сайте с 04.07.2006
Offline
44
baltic13
#38
T.R.O.N:
Вы понимаете что такое синтаксис файла, и чем он отличается от синтаксиса команд?

знаю.

вот еще аргумент:

http://notes.webartsolutions.com/archives/000084.html

Отсюда делаем вывод и оформляем его, как дополнительное неофициальное правило составления robots.txt:
Дополнительные директивы следует применять только в записях (секциях) для роботов, поддерживающих данные директивы.
Или по другому:
Не использовать дополнительные директивы в секции для всех роботов.

Т.е. никаких Host: или Crawl-delay: в секции User-agent: *
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий