От expires можно и частоту обновления документа рисовать, визиты планировать, и т.д. Возьми к примеру новостные ленты, погодные сайты.
Ты думаешь expires для кешей выставляют? Проксикам больше делать нечего, как парсить документ ;)
Сплошные непонятки :) Для чего выставляют Expires я написал:
Expires определяет свежесть документа (freshness), то есть, в принципе, он может влиять на то будет ли документ зачитываться при очередном (определяемом внутренним расписанием поисковика) обходе, но на само расписание для сайта в целом он влиять не должен.
Речь о том, что Expires для прокси и для броузера это одно (алгоритм ты знаешь :)), а для поисковика совсем другое (про алгоритм можно только догадываться). Учитывается ли? Наверное. Но не на частоту визитов, это точно. А про парсинг проксиками я вроде ничего не утверждал. Опять непонятки :)
Речь о кешировании, а прокси зачем? Дополню, на броузер тоже не подействует :)
Как писал job
А вы поставьте вместо своего сайта yandex.ru - удивитесь :D
А причем здесь мой сайт и yandex.ru. Опять-таки, посмотрите в чем был вопрос. Ест ли Яндекс мета-теги HTTP-EQUIV? Если верить этой форме, не ест. Для чистоты эксперимента нужно просто сделать сайтик, попросить его проиндексировать и проанализировать затем выдачу. Но это не 5 минут дело и, в общем, я уверен - результат будет тот же.
Expires = 0 правильный бот или броузер или кэш вообще должен игнорировать. Expires определяет свежесть документа (freshness), то есть, в принципе, он может влиять на то будет ли документ зачитываться при очередном (определяемом внутренним расписанием поисковика) обходе, но на само расписание для сайта в целом он влиять не должен.
Вообще если возможность управлять заголовками у Вас есть, какой смысл цепляться за мету. Мета - стандарт HTML и используется в основном броузерами. И хотя поисковики это наполовину боты, наполовину броузеры, тем не менее я очень сомневаюсь, что они эти теги читают, хотя утверждать не буду - не знаю. По моему, на этот вопрос вполне могли бы ответить сами разработчики поисковых систем. Кстати, можно проверить здесь
Вот результат моего теста для Last-Modified переданного через мету
GET /test.html HTTP/1.1
Accept: *.*
Host: test.ru
HTTP/1.1 200 OK
Date: Thu, 06 May 2004 08:21:45 GMT
Server: Apache/1.3.28 (Unix) mod_accel/1.0.30
Content-Type: text/html
Transfer-Encoding: chunked
<html>
<head>
<meta http-equiv="Last-Modified" content="Thu, 06 May 2004 07:57:45 GMT" /> </head>
<body>
test
</body>
</html>
Вот что ответил Яндекс
Отклик сервера менее 1 сек.
Дата документа ВНИМАНИЕ! Сервер не выдает дату последнего изменения документа! Кодировка документа ВНИМАНИЕ! Сервер не выдает кодировку документа!
Вот тут я не согласен ;) "ответы сервера" не только прокси используют... это СТАНДАРТ понимаешь ли ;)
Имелось в виду, что цели у них разные. Стандарт, понятно, один, что для броузера, что для прокси, что для Я-бота, но используют они информацию из заголовков по разному. И то, что необходимо для кеширования (или некеширования), может быть совершенно безразлично для индексации.
Поисковик не прокси. Он может придерживаться каких-то стандартов, но работа его все же построена несколько иначе. По моему, существует два механизма, которые следует различать:
1) поиск и закачка новых документов
2) обновление старых документов
Во втором механизме для Я, по всей видимости, играет определенную роль Last-Modified (который потом используется в If-Modified-Since). Пожалуй, это единственный механизм из кеширования, который используется поисковиком.
Остальное совершенно справедливо сказано раньше - у поисковика свое расписание и свои приоритеты и они связаны с кешированием скорее всего никак, хотя... задачи оптимизации всегда существуют и они часто связаны с информацией получаемой через заголовки. По поводу META-тегов, лучше их избегать, скорее всего их игнорируют, старайтесь использовать заголовки, там где это возможно.
Боюсь вызвать праведный гнев... :) Кхм-кхм, в общем, она не всегда появляется. Попробуйте при авторизации несколько раз указать неправильно пароль.
Сделано довольно грамотно. Неназойливо возникает только при всякого рода подозрениях (робот, подбор пароля и т.п.). Потому видно законопослушные граждане и не замечали раньше :)
парад планет
От expires можно и частоту обновления документа рисовать, визиты планировать, и т.д. Возьми к примеру новостные ленты, погодные сайты.
Ты думаешь expires для кешей выставляют? Проксикам больше делать нечего, как парсить документ ;)
Сплошные непонятки :) Для чего выставляют Expires я написал:
Expires определяет свежесть документа (freshness), то есть, в принципе, он может влиять на то будет ли документ зачитываться при очередном (определяемом внутренним расписанием поисковика) обходе, но на само расписание для сайта в целом он влиять не должен.
Речь о том, что Expires для прокси и для броузера это одно (алгоритм ты знаешь :)), а для поисковика совсем другое (про алгоритм можно только догадываться). Учитывается ли? Наверное. Но не на частоту визитов, это точно. А про парсинг проксиками я вроде ничего не утверждал. Опять непонятки :)
Речь ведь не о прокси ;)
Речь о кешировании, а прокси зачем? Дополню, на броузер тоже не подействует :)
А вы поставьте вместо своего сайта yandex.ru - удивитесь :D
А причем здесь мой сайт и yandex.ru. Опять-таки, посмотрите в чем был вопрос. Ест ли Яндекс мета-теги HTTP-EQUIV? Если верить этой форме, не ест. Для чистоты эксперимента нужно просто сделать сайтик, попросить его проиндексировать и проанализировать затем выдачу. Но это не 5 минут дело и, в общем, я уверен - результат будет тот же.
<META NAME="googlebot" CONTENT="noarchive">
На Google действует ;)
А на прокси нет :)
Expires = 0 правильный бот или броузер или кэш вообще должен игнорировать. Expires определяет свежесть документа (freshness), то есть, в принципе, он может влиять на то будет ли документ зачитываться при очередном (определяемом внутренним расписанием поисковика) обходе, но на само расписание для сайта в целом он влиять не должен.
Вообще если возможность управлять заголовками у Вас есть, какой смысл цепляться за мету. Мета - стандарт HTML и используется в основном броузерами. И хотя поисковики это наполовину боты, наполовину броузеры, тем не менее я очень сомневаюсь, что они эти теги читают, хотя утверждать не буду - не знаю. По моему, на этот вопрос вполне могли бы ответить сами разработчики поисковых систем. Кстати, можно проверить здесь
Вот результат моего теста для Last-Modified переданного через мету
GET /test.html HTTP/1.1
Accept: *.*
Host: test.ru
HTTP/1.1 200 OK
Date: Thu, 06 May 2004 08:21:45 GMT
Server: Apache/1.3.28 (Unix) mod_accel/1.0.30
Content-Type: text/html
Transfer-Encoding: chunked
<html>
<head>
<meta http-equiv="Last-Modified" content="Thu, 06 May 2004 07:57:45 GMT" />
</head>
<body>
test
</body>
</html>
Вот что ответил Яндекс
Отклик сервера менее 1 сек.
Дата документа ВНИМАНИЕ! Сервер не выдает дату последнего изменения документа!
Кодировка документа ВНИМАНИЕ! Сервер не выдает кодировку документа!
Вот тут я не согласен ;) "ответы сервера" не только прокси используют... это СТАНДАРТ понимаешь ли ;)
Имелось в виду, что цели у них разные. Стандарт, понятно, один, что для броузера, что для прокси, что для Я-бота, но используют они информацию из заголовков по разному. И то, что необходимо для кеширования (или некеширования), может быть совершенно безразлично для индексации.
Поисковик не прокси. Он может придерживаться каких-то стандартов, но работа его все же построена несколько иначе. По моему, существует два механизма, которые следует различать:
1) поиск и закачка новых документов
2) обновление старых документов
Во втором механизме для Я, по всей видимости, играет определенную роль Last-Modified (который потом используется в If-Modified-Since). Пожалуй, это единственный механизм из кеширования, который используется поисковиком.
Остальное совершенно справедливо сказано раньше - у поисковика свое расписание и свои приоритеты и они связаны с кешированием скорее всего никак, хотя... задачи оптимизации всегда существуют и они часто связаны с информацией получаемой через заголовки. По поводу META-тегов, лучше их избегать, скорее всего их игнорируют, старайтесь использовать заголовки, там где это возможно.
Боюсь вызвать праведный гнев... :) Кхм-кхм, в общем, она не всегда появляется. Попробуйте при авторизации несколько раз указать неправильно пароль.
Сделано довольно грамотно. Неназойливо возникает только при всякого рода подозрениях (робот, подбор пароля и т.п.). Потому видно законопослушные граждане и не замечали раньше :)
Все это хорошо, но яндекс уже переиндексировал 150 страниц моего сайта, а главная страница изменилась полностью!!!
Хотя всем спасибо, за воодушевляющие сообщения о том, что за это платить не нужно и рано или поздно он все же поменяет описание.
А ведь это идея :)
спорить не буду - приснилось значит :)