META http-equiv=Pragma - кэшировать страницу?

Все эти теги до фонаря.

Пусть индексирует себе спокойно. Когда ресурс будет нормально раскручен, переиндексация будет идти довольно часто.

IMHO поисковки уже накушались мета тегов, в наше время за кеширование страницы отвечает "заголовок ответа сервера", а желание заставить поисковик индексировать то что Вам нужно, никак не пересекается с его переченем задач. Можно только влиять на start-up процесс индексации, постепенно открывая поисковику те или иные разделы. Так же можно заметить, что некоторые поисковые машины производят некоторую сортировку списка документов, поставленных в очередь на индексацию. К примеру, если в robots.txt открыть закрытые разделы, то он пойдёт по ним в алфавитном порядке.

Обратите внимание, что при игре с HTTP headers нужно учитывать реалистичность информации, к примеру сложно убедить некоторые поисковики по поводу "статичности" данной страницы, когда ему где-то попадаются ссылки на эту страницу test.html?asdsd или же эта страничка выставляет куку.

Поисковик не прокси. Он может придерживаться каких-то стандартов, но работа его все же построена несколько иначе. По моему, существует два механизма, которые следует различать:

1) поиск и закачка новых документов

2) обновление старых документов

Во втором механизме для Я, по всей видимости, играет определенную роль Last-Modified (который потом используется в If-Modified-Since). Пожалуй, это единственный механизм из кеширования, который используется поисковиком.

Остальное совершенно справедливо сказано раньше - у поисковика свое расписание и свои приоритеты и они связаны с кешированием скорее всего никак, хотя... задачи оптимизации всегда существуют и они часто связаны с информацией получаемой через заголовки. По поводу META-тегов, лучше их избегать, скорее всего их игнорируют, старайтесь использовать заголовки, там где это возможно.

Вот тут я не согласен ;) "ответы сервера" не только прокси используют... это СТАНДАРТ понимаешь ли ;)

Имелось в виду, что цели у них разные. Стандарт, понятно, один, что для броузера, что для прокси, что для Я-бота, но используют они информацию из заголовков по разному. И то, что необходимо для кеширования (или некеширования), может быть совершенно безразлично для индексации.

я встречал такое утверждение, кстати на сайтах оптимизаторов, что если использовать мета тег <META http-equiv=Expires content="0">

то бот либо откажиться от индексации подобного документа, либо будет постоянно "обнюхивать" этот документ.

А еще встречал утверждение что тег <META http-equiv=Expires content="Wed, 15 May 2004 00:00:05 GMT">, в которм установлена ближайшая дата окончания срока действия, например, 15 May 2004. ТО по достижению этой даты поисковик вновь придет проверить данный документ.

Так ли верны эти утверждения? Выше были высказывания насчет чтения ботом заголовков - это даже не обсуждается, конечно же, бот их читает и принимает к сведению. А обращает ли он внимание на использование выше приведенных примеров? Почему бы и не зайти боту на страничку после даты окончания действия документа или например отказаться от посещения такой странички, ведь срок ее истек?

Спрашиваю я потому, что нужно сделать отказ от кэширования, но страшно, что поисковик забудет о моей страничке :-(

Да здались вам эти мета-теги. Поисковику на них ...

Если хотите, чтобы страница не индексировалась, то закройте ее в robots.txt и все. А как прийдет время - откроете.

Expires = 0 правильный бот или броузер или кэш вообще должен игнорировать. Expires определяет свежесть документа (freshness), то есть, в принципе, он может влиять на то будет ли документ зачитываться при очередном (определяемом внутренним расписанием поисковика) обходе, но на само расписание для сайта в целом он влиять не должен.

Вообще если возможность управлять заголовками у Вас есть, какой смысл цепляться за мету. Мета - стандарт HTML и используется в основном броузерами. И хотя поисковики это наполовину боты, наполовину броузеры, тем не менее я очень сомневаюсь, что они эти теги читают, хотя утверждать не буду - не знаю. По моему, на этот вопрос вполне могли бы ответить сами разработчики поисковых систем. Кстати, можно проверить здесь

Вот результат моего теста для Last-Modified переданного через мету

GET /test.html HTTP/1.1
Accept: *.*
Host: test.ru

HTTP/1.1 200 OK
Date: Thu, 06 May 2004 08:21:45 GMT
Server: Apache/1.3.28 (Unix) mod_accel/1.0.30
Content-Type: text/html
Transfer-Encoding: chunked

<html>
<head>
<meta http-equiv="Last-Modified" content="Thu, 06 May 2004 07:57:45 GMT" />
</head>
<body>
test
</body>
</html>

Вот что ответил Яндекс

Отклик сервера менее 1 сек.
Дата документа ВНИМАНИЕ! Сервер не выдает дату последнего изменения документа!
Кодировка документа ВНИМАНИЕ! Сервер не выдает кодировку документа!

<META NAME="googlebot" CONTENT="noarchive">

На Google действует ;)

А на прокси нет :)