Отсюда делаем вывод и оформляем его, как дополнительное неофициальное правило составления robots.txt:
Дополнительные директивы следует применять только в записях (секциях) для роботов, поддерживающих данные директивы.
Или по другому:
Не использовать дополнительные директивы в секции для всех роботов.
Т.е. никаких Host: или Crawl-delay: в секции User-agent: *
Мишган: Если в роботс 2 тэга Host какой из них будет использоваться?
если robots.txt составлен не по стандарту робот действует по своей интрукции ,которую кроме разработчиков, естественно, не знает, поэтому все варианты - имхи.
может даже каждый раз по разному будет восприниматься.
T.R.O.N: Скажите, Вам хочется "по стандарту", или "чтобы работало"??
Т.к. robots обрабатывается последовательно, то директива Host, которая стоит в конце, не мешает парсерам правильно применить параетры, которые уже обработались.
конечно, чтобы работало. и при том надежно.
Если файл /robots.txt пуст, или не отвечает заданному формату и семантике, или его не существует, любой поисковый робот будет работать по своему алгоритму.
Надо брать нормальный, лучше вообще где нить на мясо комбинате. Я бы мог с кем нить съездить затарится.
мясные лавочки есть. там мясо свежее.
Ну по мелочи. Девок надо :))) Своих берем или там найдем?
там найдем... со своими спокойно не побухаешь, то слишком часто пьете, то много, то еще что-нить.
nbrand, поддерживаю :-D
Гым, по водке не знаю, водку не пью. А по пиву, надо че нить приличное на разлив. Я просто не знаю какое народ будет. Я бы взял 10 литров Келлерс светлый. Литр по 57 рублей. Фисташек килограмм 10 :)
такого не слышал, но не против, если говоришь, что хорошее.
http://foto.mail.ru/mail/andava/SEO
здесь пара-тройка фоток, закупаемся и уже на месте.. радуемся жизни
вечерком обязательно выложу.
Вот это отдохнули!!!! Мне прям жаль тех кто не пришел, такое пропустили🙄
отдохнили классно :)
Андрюха, не болеещь?:)
Андрюха вроде живой.
Вова, как можно фотки получить? помниться их много было.
Вы понимаете что такое синтаксис файла, и чем он отличается от синтаксиса команд?
знаю.
вот еще аргумент:
http://notes.webartsolutions.com/archives/000084.html
Дополнительные директивы следует применять только в записях (секциях) для роботов, поддерживающих данные директивы.
Или по другому:
Не использовать дополнительные директивы в секции для всех роботов.
Т.е. никаких Host: или Crawl-delay: в секции User-agent: *
baltic13, Не спорьте.
Для Яндекса конструкция
User-Agent: *
Disallow: /contacts/
Disallow: /tmp/
Host: ispets.ru
верна, а для других поисковиков - нет.
/ru/forum/comment/2353823 не одно и то же?
Верно... он отвечает синтаксису и стандарту ФАЙЛА!
host не стандарт!
для яндекса стандарт, для остальных нет!
Если в роботс 2 тэга Host какой из них будет использоваться?
если robots.txt составлен не по стандарту робот действует по своей интрукции ,которую кроме разработчиков, естественно, не знает, поэтому все варианты - имхи.
может даже каждый раз по разному будет восприниматься.
Скажите, Вам хочется "по стандарту", или "чтобы работало"??
Т.к. robots обрабатывается последовательно, то директива Host, которая стоит в конце, не мешает парсерам правильно применить параетры, которые уже обработались.
конечно, чтобы работало. и при том надежно.
это из стандарта.
Ну значит для Яндекса - правильно написано ;)
вот поэтому и
host в стандарте нет, это расширение. поэтому для Яндекса отдельно и следует писать.
мясные лавочки есть. там мясо свежее.
там найдем... со своими спокойно не побухаешь, то слишком часто пьете, то много, то еще что-нить.
nbrand, поддерживаю :-D
такого не слышал, но не против, если говоришь, что хорошее.