stryker, что-то вызвало у вас сомнения в этой статистике? Или вы просто выражаете свое восхищение? :)
Андрей, в даном-то случае - пусть себе игнорирует ;) Я же не про красоту инженерной мысли говорю, а в ответ топикстартеру. Оба варианта будут работать. Наш с тобой спор в данном случае - схолластический 🚬
Хотя в процессе обсуждения обнаружилось, что сам стандарт не лишен своих «косяков». Так, в разделе The Format первый раз в документе встречается термин «header», причем в предложении Unrecognised headers are ignored. Сотрудники Яндекса трактуют этот термин, как «строка» или «отдельная директива» в пределах записи (record), тогда использование директивы Host: в секции для всех роботов правомерно и не должно вызывать проблем. Однако сотрудники Google, видимо, трактовали термин «header» как запись, соответственно, GoogleBot полагает всю запись с директивой Host: неверно оформленной и игнорирует ее полностью!
Война форматов :) Применительно к данному примеру второй вариант будет работать на 100%. Но с точки зрения стандарта вообще - не стоит составлять действенные директивы для GoogleBot и включать в них директиву Host.
Это пощему же то неверно? (с)
Работать не будет? ;)
Проблема в том, что Яндекс клеит очень долго. От месяца до двух.
woodworld, ваш вариант неверен - обязательно наличие инструкции Disallow!
А вторая-то часть зачем? Она не запрещает ничего никому ;)
И несуществующие директории писать не нужно. Правильно - так:
User-Agent: Yandex
Disallow:
Host: www.site.ru
или так:
User-Agent: *
Тема обсуждалась здесь:
Там есть сервис для рассчета цены по запросу.
Например, страницы форума - переиндексируются регулярно, потому что контент там обновляется часто :) А страницы с настоящим контентом - не переиндексируются по полтора года (пример из практики).
Сервер должен давать возможность пользователю подключаться извне.
Но iexpert прав - это дыра.
Просто info - новая зона, а net - старая.
Мне всегда казалось, что главное - извлечь доходы. ;)
А скрыть их от кого-то или не скрыть - дело десятое.
