Host и прочее

Шут
На сайте с 16.08.2005
Offline
9
468

Для облегчения работы Яндекса или по другим непонятным причинам Яндекс предлагает прописать в robots.txt - host сайт :)

Вроде бы это помогает как Яндексу так и владельцу сайта ;)

Предлагаю публиковать здесь новые директивы (возможные) для файла robots.txt

Может «Яндексоиды» увидят в наших предложениях «себе выгоду» и реализуют их;)

Например,

Директивы:

type (static, dynamic[количество]). Дает понять Яндексу, что сайт статический (динамические урл – недействительны и они могут быть удалены). dynamic[количество] – показывает максимальное количество динамических параметров в урл. Возможно, пригодиться для очистки базы – удаление сессий из урл и прочего…

values (time, volume) – Для некоторых сайтов важно, чтобы информация пользователю подавалась «онлайн» (новостные). Для других сайтов имеющих большой объем (энциклопедии) новизна не важна, важно чтобы Яндекс шел вглубь…

Предлагайте свои варианты, а то что-то на одном «хосте» все и остановилось;)

А
На сайте с 14.11.2003
Offline
150
#1
Шут:
Предлагайте свои варианты

Задержку delay пусть сделают. А то их быстроробот - настоящий насильник.=)))

NN
На сайте с 15.08.2005
Offline
113
#2

Насколько я знаю, в роботс.тхт только 2 "легальные" дерективы:

user-agent и disallow. Все остальное - это выдумки конкретно каждого поисковика. Я лично оставил самый простой роботс.тхт - разрешить все. ИМХО, если пичкать его всякими дериктивами можно какого-то робата сбить и он на сайт не пойдет (я где-то читал такое про иностранные поисковики). А проблема с выбором основного хоста с www или без www легко решается через mod_rewrite.

vscrypto.com Сравнение контрактов облачного майнинга (http://www.vscrypto.com) || Genesis-Mining (http://www.vscrypto.com/genesis-mining) || Omnia-Tech (http://www.vscrypto.com/omnia-tech) || Статистика сети BTC, прогноз сложности (http://www.vscrypto.com/btc-stat-year)
C
На сайте с 19.09.2001
Offline
120
#3

Не стоит добавлять в robots.txt дополнительных директив, тут с теми, что уже есть, не всегда можно разобраться.

Если уж на то пошло, то ничего не мешает добавить на сайт какой-нибудь yandex-config.txt, в который запихнуть всю необходимую конфигурацию сайта. Пусть только робот Яндекса пользуется этой конфигурацией...

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий